AeroGround: An Open, Citation-Grounded Aviation Dataset forTraining and Evaluating Trustworthy Domain Language Models

Riepilogo Tecnico: AeroGround

Problematica
Il dominio aerospaziale è critico per la sicurezza e fortemente regolamentato, dove risposte plausibili ma non supportate da parte di Modelli di Linguaggio di Grandi Dimensioni (LLM) pongono rischi significativi. Il progresso nell'applicazione degli LLM a questo campo è attualmente limitato dall'assenza di dataset open che soddisfino simultaneamente tre criteri: (i) siano radicati in fonti autorevoli, (ii) il materiale sorgente sia privo di vincoli di licenza e (iii) siano rilasciati in formati adatti all'addestramento dei professionisti. Le soluzioni esistenti spesso mancano di un rigoroso tracciamento della provenienza o si affidano a materiale protetto da copyright, impedendo lo sviluppo di assistenti dell'aviazione affidabili e basati su citazioni.

Metodologia
Il documento presenta AeroGround, una pipeline di costruzione di dataset e la relativa risorsa, progettata per addestrare e valutare modelli che rispondano partendo da testi autorevoli e si astengano quando l'evidenza è insufficiente.

• Fonti dei Dati: Il corpus è costruito interamente da fonti di pubblico dominio degli Stati Uniti: la serie di manuali per aviatore della FAA (FAA-H-8083) e il Titolo 14 del Codice dei Regolamenti Federali (14 CFR). I materiali ICAO sono stati esclusi a causa delle restrizioni sul copyright.
• Elaborazione del Corpus: I testi sorgente sono stati suddivisi in segmenti consapevoli dei token (token-aware chunking) in 14.399 segmenti, ciascuno tracciato con metadati di provenienza (fonte, citazione, licenza). Un indice di recupero è stato costruito utilizzando gli embedding BAAI/bge-small-en-v1.5 e FAISS.
• Pipeline di Generazione:
  • Coppie di Preferenza: Per i passaggi campionati, sono state sintetizzate domande in stile esame. Una risposta "scelta" è stata generata condizionata al contesto recuperato (con citazioni inline) utilizzando Meta Llama 3-8B-Instruct, mentre una risposta "rifiutata" è stata generata in modalità closed-book.
  • Verifica: Un filtro lessicale di supporto delle affermazioni ha rimosso le coppie in cui la risposta scelta non era supportata dal contesto recuperato.
  • Casi Limite di Astensione: Circa il 10% dei dati consiste in domande reali accoppiate a contesti deliberatamente irrilevanti, addestrando il modello a emettere un rifiuto sicuro standardizzato ("Dati insufficienti per consigli sui protocolli di volo sicuri").
• Verifica del Grounding (Radicamento): Il dataset utilizza due segnali privi di modello per verificare il grounding senza etichette umane:
  1. Supporto della Frase: La frazione di frasi della risposta le cui parole chiave appaiono nella fonte.
  2. Supporto delle Entità: La frazione di fatti specifici (numeri, identificatori FAA, sezioni CFR) presenti nella fonte.
  • Una revisione umana stratificata di un campione ha corroborato la valutazione automatizzata, confermando che i punteggi automatizzati bassi segnalavano correttamente le affermazioni non supportate.
• Addestramento e Valutazione del Modello:
  • Addestramento: Un modello Llama 3-8B-Instruct è stato sottoposto a fine-tuning utilizzando QLoRA e Direct Preference Optimization (DPO) sulle coppie di preferenza. La struttura del prompt includeva istruzioni di sistema, contesto recuperato e la domanda.
  • Quantificazione dell'Incertezza (UQ): È stato implementato uno stack a tre livelli:
    1. Aleatoria: Valuta la rilevanza tra domanda e contesto e la dispersione del recupero.
    2. Epistemica: Misura l'entropia predittiva dei token e l'entropia semantica con una regola di arresto epistemica.
    3. Fusione: Un calibratore logistico fonde i segnali per decidere se rispondere o astenersi.

Contributi Chiave

1. Dataset AeroGround: Un dataset dell'aviazione open, derivato da fonti di pubblico dominio e con provenienza tracciata, rilasciato in quattro formati: preferenza (DPO), supervisionato (SFT), astensione e recupero.
2. Pipeline Riproducibile: Una pipeline di generazione e verifica che accoppia le risposte al testo sorgente citato e quantifica automaticamente il grounding.
3. Audit del Grounding: Un audit completo che stabilisce l'affidabilità attraverso metriche di validità della citazione, supporto della frase/entità e campioni revisionati da umani.
4. Dimostrazione di Utilità: Una pipeline completamente valutata che combina l'addestramento RALA-DPO con uno stack di UQ a tre livelli per un'astensione calibrata.

Risultati

• Composizione del Dataset: Il dataset finale contiene 9.988 coppie di preferenza (8.815 con grounding, 1.173 di astensione calibrata) derivate da 14.399 chunk del corpus.
• Qualità del Grounding: Le risposte con grounding hanno raggiunto il 96,9% di supporto della frase e il 98,2% di supporto delle entità, superando significativamente i baseline closed-book (rispettivamente 60,5% e 82,1%). Il 90,5% delle risposte con grounding ha superato un rigoroso filtro "verified-gold".
• Performance del Modello:
  • Sulle voci con grounding che il modello ha scelto di rispondere, la qualità della generazione è stata di ROUGE-L 0.593 e BLEU-4 46.35.
  • Il gate di astensione calibrata ha raggiunto un'accuratezza bilanciata di 0,875.
  • Le metriche di calibrazione sono state forti: ECE = 0,033, Brier = 0,061 e AUROC = 0,973.
  • Il gate ha dimostrato un richiamo (recall) di 0,940 per gli elementi di astensione limite (intenzionalmente non rispondibili), ma ha comportato un tasso di sovra-astensione del 19% sugli elementi con grounding, un compromesso conservativo che privilegia la sicurezza.
• Osservazione sulla Calibrazione: Il gate di astensione è rimasto ben calibrato anche quando la policy DPO era sovra-ottimizzata (loss vicina allo zero), suggerendo che i segnali lato recupero (rilevanza domanda-contesto) possono fornire un'astensione calibrata quando la fiducia interna del modello è gonfiata.

Significatività e Rivendicazioni
Il documento afferma che AeroGround affronta la lacuna critica nei dati di addestramento open e affidabili per domini critici per la sicurezza. Fornendo un dataset in cui ogni risposta con grounding è verificata rispetto alla sua fonte citata, esso consente l'addestramento di assistenti che possono citare testi autorevoli e, soprattutto, astenersi quando l'evidenza è insufficiente. Gli autori posizionano AeroGround come una risorsa di ricerca destinata a seminare applicazioni più ampie della moderna NLP in ambito aerospaziale, dichiarando esplicitamente che non deve essere utilizzato per decisioni operative di volo. Il lavoro dimostra che combinare la generazione aumentata dal recupero con una rigorosa quantificazione dell'incertezza può produrre modelli che siano sia informativi che consapevoli della sicurezza, anche in ambienti altamente regolamentati.