Pre-Flight: A Benchmark for Evaluating Large Language Models on Aviation Operational Knowledge

Resumo Técnico: Pre-Flight: Um Benchmark para Avaliar Grandes Modelos de Linguagem em Conhecimento Operacional de Aviação

Declaração do Problema
Grandes modelos de linguagem (LLMs) são cada vez mais propostos para operações de negócios na aviação, desde documentação e geração de treinamento até assistentes voltados ao cliente. No entanto, benchmarks de propósito geral falham em medir se os modelos raciocinam de forma segura e correta em relação ao conhecimento operacional específico da aviação. Dado o caráter regulamentado e de alto risco do domínio da aviação, essa lacuna é consequencial. As avaliações existentes não distinguem entre modelos que genuinamente compreendem as operações de aviação e aqueles que apenas produzem saídas que parecem plausíveis. Além disso, o cenário de informações da aviação é heterogêneo, misturando formatos legados (ex: NOTAMs, mensagens Tipo B) com serviços digitais modernos, e muito do conhecimento operacional permanece como texto não estruturado. Há uma falta de recursos abertos e específicos para o domínio para avaliar LLMs neste contexto, particularmente para operações de negócios não críticas para a segurança, onde erros acarretam custos reputacionais e operacionais.

Metodologia
Os autores introduzem o Pre-Flight, um benchmark de código aberto composto por 300 questões de múltipla escolha projetadas para avaliar o conhecimento operacional e regulatório declarativo.

• Construção do Conjunto de Dados: Os itens foram extraídos de fontes autoritativas, incluindo Manuais de Segurança de Operações de Solo (GOSM) de aeroportos internacionais, regulamentações dos EUA (14 CFR), Anexos da ICAO e documentação geral de aviação. O conjunto de dados foi elaborado e revisado por profissionais com experiência em gerenciamento de tráfego aéreo, operações de solo e voo comercial.
• Composição: Os 300 itens são categorizados em cinco grupos:
  1. Operações de solo de aeroportos internacionais (50,7%)
  2. Regras e regulamentações da ICAO (28,3%)
  3. Regras e regulamentações da FAA (17,0%)
  4. Curiosidades de aviação (2,7%)
  5. Cenários de solo complexos (1,3%)
     O conjunto de dados é fortemente ponderado para conteúdo operacional de solo e conhecimento regulatório.
• Protocolo de Avaliação: O benchmark é avaliado utilizando o framework Inspect. Os modelos são testados usando um protocolo de múltipla escolha padrão zero-shot com correspondência exata determinística contra as respostas de referência (gold answers). Não é utilizado scoring por modelo ou juiz baseado em LLM. A avaliação ocorre de forma contín-ua conforme novos modelos são lançados, com os resultados rastreados em um leaderboard público.
• Referência de Linha de Base: Uma referência informal de especialistas de aproximadamente 95% de precisão foi estabelecida via um quiz de baixa amostragem com profissionais de aviação em uma conferência.

Principais Contribuições

1. Motivação para Avaliação Específica de Domínio: O artigo argumenta que benchmarks gerais (como o MMLU) e outros benchmarks de domínio (ex: MedQA, LegalBench) não capturam a integração de conhecimento específico e os modos de falha necessários para a implantação na aviação. Posiciona o Pre-Flight como uma precondição necessária para a implantação responsável de IA em operações de negócios de aviação não críticas para a segurança.
2. O Benchmark Pre-Flight: O lançamento de um conjunto de dados curado e de código aberto e um harness de avaliação (integrado ao inspect_evals) que visa especificamente operações de solo, regulamentações ICAO/FAA e cenários complexos.
3. Análise Empírica: Uma avaliação abrangente de 44 modelos comerciais e de pesos abertos contemporâneos (lançados entre o início de 2024 e meados de 2026), fornecendo um panorama das capacidades atuais e modos de falha.

Resultos

• Lacuna de Desempenho: Mesmo o modelo mais forte avaliado (GPT-5.5, lançado em 2026) alcançou uma precisão de 82,7%, permanecendo aproximadamente 12 pontos percentuais abaixo da referência informal de especialistas (~95%).
• Trajetória de Progresso: A melhoria tem sido lenta em relação à lacuna. Enquanto a fronteira subiu do meio dos 60 para o baixo 70 em 2024, o progresso desacelerou em 2025–2026, adicionando apenas cerca de oito pontos para atingir o pico atual.
• Comparações de Modelos:
  • Aberto vs. Fechado: Modelos de pesos abertos (ex: Qwen3.5 122B) são competitivos com sistemas de API líderes, com uma variante quantizada executada localmente atingindo 77,3%.
  • Dificuldade por Categoria: Os modelos performam melhor em conteúdo de segurança internacional e ICAO amplamente publicado, mas têm maior dificuldade com detalhes regulatórios dos EUA (FAA), que mostraram uma taxa média de falha de 53,0%.
  • Raciocínio vs. Memorização (Recall): Itens que exigem raciocínio (60,3% do conjunto) provaram ser mais difíceis do que a memorização direta, com uma taxa de falha 4,1 pontos maior.
  • Outliers: Alguns modelos fortes em outros domínios colapsaram neste benchmark (ex: ALLaM 2 7B pontuou 25,3%, próximo ao nível do acaso).
• Problemas de Qualidade de Dados: A análise revelou que alguns "erros" eram, na verdade, erros na chave de respostas, onde os modelos convergiam para uma opção mais consistente com a regulamentação vigente do que a chave registrada. Dois desses erros foram corrigidos, e outros foram sinalizados para revalidação.

Significância e Alegações
O artigo afirma que a avaliação específica de domínio é uma precondição necessária para a implantação responsável de IA generativa em operações de negócios de aviação. Os resultados demonstram uma lacuna substancial e persistente entre as capacidades atuais dos LLMs e a confiabilidade necessária para uso operacional. Os autores argumentam que pontuações de conhecimento agregado frequentemente superestimam a competência operacional, particularmente onde o raciocínio de múltiplas etapas é necessário.

O Pre-Flight serve como uma medida concreta e reutilizável de conhecimento operacional "sob a asa" (under the wing), complementando esforços existentes como o ALUE (que visa a camada sistêmica/espacial) e o PilotBench (que visa a previsão de trajetória de voo crítica para a segurança). Ao fornecer um benchmark aberto e reproduzível, os autores visam facilitar o escrutínio da comunidade, rastrear o progresso ao longo do tempo e garantir que a implantação da IA na aviação seja fundamentada em conhecimento operacional verificado, em vez de alucinações plausíveis. O artigo restringe explicitamente seu escopo a funções não críticas para a segurança, alinhando-se à abordagem incremental da FAA para a garantia de segurança de IA.