AeroGround: An Open, Citation-Grounded Aviation Dataset forTraining and Evaluating Trustworthy Domain Language Models

Resumo Técnico: AeroGround

Definição do Problema
O domínio aeroespacial é crítico para a segurança e fortemente regulamentado, onde respostas plausíveis, mas não fundamentadas, de Grandes Modelos de Linguagem (LLMs) representam riscos significativos. O progresso na aplicação de LLMs a este campo é atualmente limitado pela ausência de conjuntos de dados abertos que atendam simultaneamente a três critérios: (i) serem fundamentados em fontes autoritativas, (ii) o material de origem ser livre de ônus de licenciamento e (iii) serem lançados em formatos adequados para o treinamento de profissionais. As soluções existentes frequentemente carecem de rastreamento estrito de proveniência ou dependem de material protegido por direitos autorais, impedindo o desenvolvimento de assistentes de aviação confiáveis e baseados em citações.

Metodologia
O artigo apresenta o AeroGround, um pipeline de construção de conjuntos de dados e o recurso resultante, projetados para treinar e avaliar modelos que respondem a partir de texto autoritativo e abstêm-se quando a evidência é insuficiente.

• Fontes de Dados: O corpus é construído inteiramente a partir de fontes de domínio público dos EUA: a série de manuais de aviador da FAA (FAA-H-8083) e o Título 14 do Código de Regulamentações Federais (14 CFR). Materiais da ICAO foram excluídos devido a restrições de direitos autorais.
• Processamento do Corpus: Os textos de origem foram segmentados de forma consciente dos tokens em 14.399 segmentos, cada um rastreado com metadados de proveniência (fonte, citação, licença). Um índice de recuperação foi construído usando embeddings BAAI/bge-small-en-v1.5 e FAISS.
• Pipeline de Geração:
  • Pares de Preferência: Para passagens amostradas, questões do tipo exame foram sintetizadas. Uma resposta "escolhida" foi gerada condicionada ao contexto recuperado (com citações em linha) usando Meta Llama 3-8B-Instruct, enquanto uma resposta "rejeitada" foi gerada de forma closed-book (sem consulta).
  • Verificação: Um filtro léxico de suporte-afirmação removeu pares onde a resposta escolhida não era suportada pelo contexto recuperado.
  • Casos de Borda de Abstenção: Aproximadamente 10% dos dados consistem em perguntas reais pareadas com contextos deliberadamente irrelevantes, treinando o modelo para emitir uma recusa segura padronizada ("Dados insuficientes para aconselhamento de protocolo de voo seguro").
• Verificação de Fundamentação: O conjunto de dados utiliza dois sinais livres de modelo para verificar a fundamentação sem rótulos humanos:
  1. Suporte de Sentença: A fração de sentenças da resposta cujas palavras de conteúdo aparecem na fonte.
  2. Suporte de Entidade: A fração de fatos específicos (números, identificadores da FAA, seções do CFR) que aparecem na fonte.
  • Uma revisão humana estratificada de uma amostra corroborou a avaliação automatizada, confirmando que baixas pontuações automatizadas sinalizaram corretamente afirmações não fundamentadas.
• Treinamento e Avaliação do Modelo:
  • Treinamento: Um modelo Llama 3-8B-Instruct foi ajustado utilizando QLoRA e Otimização de Preferência Direta (DPO) nos pares de preferência. A estrutura do prompt incluiu instruções de sistema, contexto recuperado e a pergunta.
  • Quantificação de Incerteza (UQ): Uma pilha de três camadas foi implementada:
    1. Aleatória: Pontua a relevância questão-contexto e a dispersão da recuperação.
    2. Epistêmica: Mede a entropia preditiva de tokens e a entropia semântica com uma regra de interrupção epistêmica.
    3. Fusão: Um calibrador logístico funde os sinais para decidir se responde ou se abstém.

Principais Contribuições

1. Conjunto de Dados AeroGround: Um conjunto de dados de aviação aberto, de fonte de domínio público e com proveniência rastreada, lançado em quatro formatos: preferência (DPO), supervisionado (SFT), abstenção e recuperação.
2. Pipeline Reproduzível: Um pipeline de geração e verificação que pareia respostas com texto de origem citado real e quantifica a fundamentação automaticamente.
3. Auditoria de Fundamentação: Uma auditoria abrangente estabelecendo confiabilidade através de validade de citação, métricas de suporte de sentença/entidade e amostras revisadas por humanos.
4. Demonstração de Utilidade: Um pipeline totalmente avaliado combinando treinamento RALA-DPO com uma pilha de UQ de três camadas para abstenção calibrada.

Resultos

• Composição do Conjunto de Dados: O conjunto de dados final contém 9.988 pares de preferência (8.815 fundamentados, 1.173 de abstenção calibrada) derivados de 14.399 fragmentos de corpus.
• Qualidade da Fundamentação: Respostas fundamentadas alcançaram 96,9% de suporte de sentença e 98,2% de suporte de entidade, superando significativamente os baselines closed-book (60,5% e 82,1%, respectivamente). 90,5% das respostas fundamentadas passaram por um filtro rigoroso de ouro verificado.
• Desempenho do Modelo:
  • Nos itens fundamentados que o modelo escolheu responder, a qualidade da geração foi ROUGE-L 0,593 e BLEU-4 46,35.
  • O portão de abstenção calibrada alcançou uma acurácia balanceada de 0,875.
  • As métricas de calibração foram fortes: ECE = 0,033, Brier = 0,061 e AUROC = 0,973.
  • O portão demonstrou um recall de 0,940 para itens de abstenção de borda (intencionalmente não respondíveis), mas resultou em uma taxa de sobre-abstenção de 19% em itens fundamentados, um compromisso conservador que favorece a segurança.
• Observação sobre Calibração: O portão de abstenção permaneceu bem calibrado mesmo quando a política DPO foi sobre-otimizada (perda próxima de zero), sugerindo que os sinais do lado da recuperação (relevância questão-contexto) podem fornecer abstenção calibrada quando a confiança interna do modelo está inflada.

Significância e Alegações
O artigo afirma que o AeroGround aborda a lacuna crítica de dados de treinamento abertos e confiáveis para domínios críticos de segurança. Ao fornecer um conjunto de dados onde cada resposta fundamentada é verificada contra sua fonte citada, ele permite o treinamento de assistentes que podem citar texto autoritativo e, crucialmente, abster-se quando a evidência é insuficiente. Os autores posicionam o AeroGround como um recurso de pesquisa destinado a fomentar aplicações mais amplas de NLP moderno na aeroespacial, declarando explicitamente que ele não deve ser usado para decisões operacionais de voo. O trabalho demonstra que combinar a geração aumentada por recuperação com uma quantificação de incerteza rigorosa pode produzir modelos que são tanto informativos quanto conscientes da segurança, mesmo em ambientes altamente regulamentados.