AeroGround: An Open, Citation-Grounded Aviation Dataset forTraining and Evaluating Trustworthy Domain Language Models

Technische Samenvatting: AeroGround

Probleemstelling
De luchtvaartsector is veiligheidskritisch en zwaar gereguleerd, waarbij plausibele maar ononderbouwde antwoorden van Large Language Models (LLM's) aanzienlijke risico's met zich meebrengen. De vooruitgang in het toepassen van LLM's in dit veld wordt momenteel beperkt door het ontbreken van open datasets die gelijktijdig aan drie criteria voldoen: (i) ze zijn geworteld in gezaghebbende bronnen, (ii) het bronmateriaal is vrij van licentiebeperkingen, en (iii) ze worden uitgebracht in formaten die geschikt zijn voor de training van professionals. Bestaande oplossingen missen vaak strikte herkomsttracking of vertrouwen op auteursrechtelijk beschermd materiaal, wat de ontwikkeling van betrouwbare, op citaten gebaseerde luchtvaartassistenten verhindert.

Methodologie
Het artikel introduceert AeroGround, een pijplijn voor datasetconstructie en de resulterende resource, ontworpen om modellen te trainen en te evalueren die antwoorden op basis van gezaghebbende tekst en onthouden wanneer bewijs onvoldoende is.

• Databronnen: Het corpus is volledig opgebouwd uit Amerikaanse publieke domeinbronnen: de FAA Airman handbook-serie (FAA-H-8083) en Title 14 van de Code of Federal Regulations (14 CFR). ICAO-materialen werden uitgesloten vanwege auteursrechtelijke beperkingen.
• Corpusverwerking: De bronteksten werden op token-niveau opgedeeld in 14.399 segmenten, die elk worden bijgehouden met provenance-metadata (bron, citatie, licentie). Een retrieval-index werd gebouwd met behulp van BAAI/bge-small-en-v1.5 embeddings en FAISS.
• Generatiepijplijn:
  • Preference Pairs: Voor gesamplede passages werden examestijlvragen gesynthetiseerd. Een "gekozen" antwoord werd gegenereerd onder conditie van de opgehaalde context (met inline citaties) met behulp van Meta Llama 3-8B-Instruct, terwijl een "afgewezen" antwoord op een closed-book wijze werd gegenereerd.
  • Verificatie: Een lexicale claim-support filter verwijderde paren waarbij het gekozen antwoord niet werd ondersteund door de opgehaalde context.
  • Abstention Edge Cases: Ongeveer 10% van de data bestaat uit echte vragen gekoppeld aan doelbewust irrelevante contexten, wat het model traint om een gestandaardiseerde veilige weigering te geven ("Data insufficient for safe flight protocol advice").
• Grounding Verificatie: De dataset maakt gebruik van twee model-vrije signalen om grounding te verifiëren zonder menselijke labels:
  1. Sentence Support: Het deel van de antwoordzinnen waarvan de inhoudswoorden in de bron voorkomen.
  2. Entity Support: Het deel van de specifieke feiten (getallen, FAA-identifiers, CFR-secties) dat in de bron voorkomt.
  • Een gestratificeerde menselijke review van een steekproef bevestigde de geautomatiseerde beoordeling, waarbij werd vastgesteld dat lage automatische scores ononderbouwde claims correct identificeerden.
• Modeltraining & Evaluatie:
  • Training: Een Llama 3-8B-Instruct model werd gefinetuned met behulp van QLoRA en Direct Preference Optimization (DPO) op de preference pairs. De prompt-structuur omvatte systeeminstructies, opgehaalde context en de vraag.
  • Uncertainty Quantification (UQ): Een drielaagse stack werd geïmplementeerd:
    1. Aleatoric: Scoort de relevantie tussen vraag en context en de retrieval-dispersie.
    2. Epistemic: Meet de token voorspellende entropie en semantische entropie met een epistemic-halting regel.
    3. Fusion: Een logistische calibrator fuseert signalen om te beslissen of er geantwoord wordt of dat er wordt onthouden.

Belangrijkste Bijdragen

1. AeroGround Dataset: Een open, uit het publieke domein afgeleide, met herkomst bekende luchtvaartdataset uitgebracht in vier formaten: preference (DPO), supervised (SFT), abstention, en retrieval.
2. Reproduceerbare Pijplijn: Een generatie-en-verificatiepijplijn die antwoorden koppelt aan echte geciteerde brontekst en grounding automatisch kwantificeert.
3. Grounding Audit: Een uitgebreide audit die betrouwbaarheid vestigt door middel van citatievaliditeit, sentence/entity support metrieken en menselijk beoordeelde steekproeven.
4. Nutdemonstratie: Een volledig geëvalueerde pijplijn die RALA-DPO training combineert met een drielaagse UQ-stack voor gekalibreerde abstention.

Resultaten

• Dataset Samenstelling: De definitieve dataset bevat 9.988 preference pairs (8.815 grounded, 1.173 calibrated-abstention) afgeleid van 14.399 corpus chunks.
• Grounding Kwaliteit: Grounded antwoorden behaalden 96,9% sentence support en 98,2% entity support, wat aanzienlijk beter is dan de closed-book baselines (respectievelijk 60,5% en 82,1%). 90,5% van de grounded antwoorden slaagde voor een strikte verified-gold filter.
• Modelprestaties:
  • Op grounded items waarbij het model koos om te antwoorden, was de generatiekwaliteit ROUGE-L 0,593 en BLEU-4 46,35.
  • De gekalibreerde abstention gate behaalde een balanced accuracy van 0,875.
  • De kalibratiemetrieken waren sterk: ECE = 0,033, Brier = 0,061, en AUROC = 0,973.
  • De gate vertoonde een 0,940 recall voor edge-abstention items (opzettelijk onbeantwoordbaar) maar resulteerde in een 19% over-abstention rate op grounded items, een conservatieve afweging die de voorkeur geeft aan veiligheid.
• Observatie over Kalibratie: De abstention gate bleef goed gekalibreerd, zelfs wanneer de DPO-policy over-geoptimaliseerd was (bijna nul loss), wat suggereert dat retrieval-zijde signalen (vraag-context relevantie) gekalibreerde abstention kunnen leveren wanneer de interne vertrouwen van een model opgeblazen is.

Betekenis en Claims
Het artikel claimt dat AeroGround het kritieke gat in open, betrouwbare trainingsdata voor veiligheidskritische domeinen aanpakt. Door een dataset te bieden waarbij elk grounded antwoord wordt geverifieerd tegen de geciteerde bron, maakt het de training mogelijk van assistenten die autoritatieve tekst kunnen citeren en, cruciaal, kunnen onthouden wanneer bewijs onvoldoende is. De auteurs positioneren AeroGround als een onderzoeksresource bedoeld om bredere toepassingen van moderne NLP in de luchtvaart te stimuleren, waarbij zij expliciet vermelden dat het niet gebruikt mag worden voor operationele vluchtbeslissingen. Het werk demonstreert dat het combineren van retrieval-augmented generation met rigoureuze onzekerheidskwantificatie modellen kan produceren die zowel informatief als veiligheidsbewust zijn, zelfs in sterk gereguleerde omgevingen.