STILTS-NLI: A Natural Language Interface for STILTS

Titolo: STILTS-NLI: Un'Interfaccia di Linguaggio Naturale per STILTS

1. Il Problema

STILTS (Starlink Tables Infrastructure Library Tool Set) è una suite di strumenti a riga di comando potente e versatile per l'analisi di dati astronomici tabellari, complementare all'interfaccia grafica TOPCAT. Nonostante la sua utilità per la gestione di grandi dataset, STILTS rimane sottoutilizzato a causa della sua sintassi complessa e della ripida curva di apprendimento per i nuovi utenti.
La difficoltà nel formulare comandi corretti agisce come una barriera all'ingresso, limitando l'accessibilità di questo strumento fondamentale per la comunità astronomica. L'obiettivo del lavoro è colmare questo divario rendendo STILTS accessibile attraverso un'interfaccia basata sul linguaggio naturale, senza dipendere da API proprietarie o risorse computazionali eccessive.

2. Metodologia

Gli autori hanno sviluppato STILTS-NLI, un'interfaccia che genera comandi STILTS validi partendo da prompt in linguaggio naturale, utilizzando modelli di linguaggio (LLM) open-source di piccole dimensioni.

• Generazione di Dati Sintetici:

  • Poiché la documentazione ufficiale di STILTS forniva solo circa 150 esempi, insufficienti per il fine-tuning, gli autori hanno creato un dataset sintetico.
  • È stato utilizzato un workflow che coinvolgeva LLM avanzati (come NotebookLM, Gemini, GPT) per generare coppie "prompt-risposta" in formato JSON.
  • Si è focalizzato su 12 task frequenti (es. tpipe, tmatch, tcat, tapquery).
  • Validazione Rigorosa: Ogni comando generato è stato sottoposto a un controllo sintattico automatico tramite funzioni interne di STILTS. I comandi falliti sono stati ispezionati manualmente o corretti (es. aggiunta di virgolette mancanti o conversione di unità di misura).
  • Il dataset finale è stato ridotto da 7.270 a 6.228 coppie valide dopo la rimozione di errori e allucinazioni (es. funzioni inesistenti come isNull invece di NULL_).

• Addestramento del Modello:

  • Sono stati utilizzati i modelli Gemma di Google (versioni da 2 miliardi e 27 miliardi di parametri).
  • Fase 1 (Pre-training): Addestramento su una sola epoca con la documentazione completa di STILTS (testo pulito) per familiarizzare il modello con il vocabolario e la sintassi specifica.
  • Fase 2 (Fine-tuning): Addestramento sul dataset sintetico validato per imparare la mappatura tra descrizione del task e comando eseguibile.
  • L'addestramento è stato eseguito su GPU NVIDIA (A6000 per il modello 2B, cluster Isambard-AI per il 27B).

• Implementazione Software (Agentic):

  • Per migliorare l'esperienza utente, è stato implementato un sistema "agentic" che utilizza un modello di istruzioni (Llama-3.2-3B-Instruct) come intermediario.
  • Questo modello gestisce l'interazione con l'utente, invia i prompt al modello fine-tuned specializzato e tenta l'esecuzione del comando sulla macchina locale.
  • L'interfaccia supporta comandi interattivi, ricerca di file locali e modalità "solo modello" per ridurre il consumo di RAM (da ~12GB a ~5GB).

3. Risultati Chiave

• Prestazioni del Modello:

  • Il modello fine-tuned da 2 miliardi di parametri ha mostrato prestazioni comparabili, e in alcuni casi superiori, al modello da 27 miliardi di parametri.
  • La similarità semantica (misurata con la similarità del coseno) tra comandi generati e attesi è stata alta: 0.91 ± 0.11 per il modello 2B e 0.89 ± 0.12 per il modello 27B.
  • Il modello più grande (27B) ha richiesto tempi di addestramento significativamente più lunghi senza offrire vantaggi sostanziali, suggerendo che per questo dominio specifico i dati e la qualità del dataset sono più critici delle dimensioni del modello.

• Confronto con Modelli Generalisti:

  • Il modello STILTS-NLI è stato confrontato con modelli proprietari di grandi dimensioni come Gemini 2.5 Pro e GPT-5.
  • Mentre i modelli generalisti gestivano bene i task semplici, fallivano sistematicamente su compiti complessi (es. unione di 4 cataloghi con filtri specifici), generando allucinazioni sintattiche (funzioni inesistenti o argomenti errati).
  • STILTS-NLI ha generato comandi sintatticamente corretti per tutti i test, dimostrando che un modello specializzato su un dataset validato supera i modelli generalisti in domini di nicchia.

4. Contributi Principali

1. Accessibilità: Creazione di un'interfaccia a linguaggio naturale che abbassa drasticamente la barriera all'ingresso per l'uso di STILTS.
2. Soluzione Open-Source e Low-Resource: Dimostrazione che è possibile ottenere prestazioni elevate utilizzando modelli piccoli (2B parametri) che possono essere eseguiti localmente su hardware consumer, senza dipendere da API costose o cloud.
3. Metodologia di Validazione: Sviluppo di un pipeline robusto per la generazione e validazione di dati sintetici per il fine-tuning di LLM su software scientifico, riducendo il rischio di allucinazioni.
4. Software Agentic: Implementazione di un'interfaccia utente intelligente che combina un modello di istruzioni per la conversazione e un modello specializzato per la generazione di codice.

5. Significato e Implicazioni

Questo lavoro rappresenta un proof-of-concept per l'accessibilità del software astronomico. Dimostra che:

• La specializzazione tramite fine-tuning su dataset validati è più efficace dell'uso di modelli generalisti enormi per compiti tecnici specifici.
• La comunità astronomica può mantenere il controllo totale sugli strumenti di analisi, garantendo privacy e indipendenza dalle piattaforme commerciali.
• L'approccio è scalabile: sebbene l'attuale modello copra solo 12 task, la metodologia può essere estesa all'intera suite STILTS man mano che vengono generati più dati di addestramento di alta qualità.
• L'uso di modelli locali apre la strada a future integrazioni (es. riconoscimento vocale) per rendere gli strumenti astronomici accessibili anche a utenti con disabilità motorie.

In sintesi, STILTS-NLI trasforma un potente ma complesso strumento a riga di comando in una risorsa accessibile, privata ed efficiente, ponendo un precedente per l'interazione con altri software scientifici complessi.