Pre-Flight: A Benchmark for Evaluating Large Language Models on Aviation Operational Knowledge

Resumen Técnico: Pre-Flight: Un Benchmark para Evaluar el Conocimiento Operativo de la Aviación en Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
Se propone cada vez más el uso de modelos de lenguaje de gran escala (LLM) para las operaciones comerciales de la aviación, que van desde la generación de documentación y capacitación hasta asistentes orientados al cliente. Sin embargo, los benchmarks de propósito general no logran medir si los modelos razonan de manera segura y correcta respecto al conocimiento operativo específico de la aviación. Dado el carácter regulado y de alto riesgo del dominio de la aviación, esta brecha es trascendental. Las evaluaciones existentes no distinguen entre modelos que comprenden genuinamente las operaciones de aviación y aquellos que simplemente producen salidas con apariencia de veracidad. Además, el panorama de la información de la aviación es heterogéneo, mezclando formatos heredados (por ejemplo, NOTAMs, mensajes Tipo B) con servicios digitales modernos, y gran parte del conocimiento operativo permanece como texto no estructurado. Existe una falta de recursos abiertos y específicos de dominio para evaluar los LLM en este contexto, particularmente para operaciones comerciales que no son críticas para la seguridad, donde los errores conllevan costos reputacionales y operativos.

Metodología
Los autores presentan Pre-Flight, un benchmark de código abierto compuesto por 300 preguntas de opción múltiple diseñadas para evaluar el conocimiento operativo y regulatorio declarativo.

• Construcción del Conjunto de Datos: Los ítems se extrajeron de fuentes autorizadas, incluyendo manuales de seguridad de operaciones terrestres (GOSM) de aeropuertos internacionales, regulaciones de EE. UU. (14 CFR), anexos de la OACI y documentación general de aviación. El conjunto de datos fue elaborado y revisado por profesionales con experiencia en gestión del tráfico aéreo, operaciones terrestres y vuelo comercial.
• Composición: Los 300 ítems se categorizan en cinco grupos:
  1. Operaciones terrestres de aeropuertos internacionales (50.7%)
  2. Reglas y regulaciones de la OACI (28.3%)
  3. Reglas y regulaciones de la FAA (17.0%)
  4. Trivia de aviación (2.7%)
  5. Escenarios terrestres complejos (1.3%)
     El conjunto de datos está fuertemente ponderado hacia el contenido operativo terrestre y el conocimiento regulatorio.
• Protocolo de Evaluación: El benchmark se evalúa utilizando el marco Inspect. Los modelos se prueban mediante un protocolo estándar de opción múltiple de disparo cero (zero-shot) con coincidencia exacta determinista contra las respuestas de referencia (gold answers). No se utiliza puntuación basada en modelos o jueces de LLM. La evaluación se ejecuta de forma continua a medida que se lanzan nuevos modelos, con los resultados rastreados en una tabla de clasificación pública.
• Línea Base de Referencia: Se estableció una referencia informal de expertos de aproximadamente 95% de precisión mediante un cuestionario de muestra baja aplicado a profesionales de la aviación en una conferencia.

Contribuciones Clave

1. Motivación para la Evaluación Específica de Dominio: El artículo argumenta que los benchmarks generales (como MMLU) y otros benchmarks de dominio (por ejemplo, MedQA, LegalBench) no capturan la integración de conocimientos específicos y los modos de falla requeridos para el despliegue en la aviación. Posiciona a Pre-Flight como una precondición necesaria para el despliegue responsable de la IA en operaciones de aviación que no son críticas para la seguridad.
2. El Benchmark Pre-Flight: El lanzamiento de un conjunto de datos curado y de código abierto y un entorno de evaluación (integrado en inspect_evals) que apunta específicamente a operaciones terrestres, regulaciones de la OACI/FAA y escenarios complejos.
3. Análisis Empírico: Una evaluación exhaustiva de 44 modelos comerciales y de pesos abiertos contemporáneos (lanzados entre principios de 2024 y mediados de 2026), proporcionando una instantánea de las capacidades y modos de falla actuales.

Resultos

• Brecha de Desempeño: Incluso el modelo más fuerte evaluado (GPT-5.5, lanzado en 2026) alcanzó una precisión del 82.7%, permaneciendo aproximadamente 12 puntos porcentuales por debajo de la referencia informal de expertos (~95%).
• Trayectoria de Progreso: La mejora ha sido lenta en relación con la brecha. Mientras que la frontera subió desde mediados de los 60 a los bajos 70 en 2024, el progreso se ralentizó en 2025–2026, añadiendo solo unos ocho puntos para alcanzar el pico actual.
• Comparación de Modelos:
  • Abiertos vs. Cerrados: Los modelos de pesos abiertos (por ejemplo, Qwen3.5 122B) son competitivos con los sistemas líderes de API, con una variante cuantizada ejecutada localmente que alcanzó el 77.3%.
  • Dificultad por Categoría: Los modelos funcionan mejor en contenido de seguridad internacional y de la OACI ampliamente publicado, pero tienen mayores dificultades con los detalles regulatorios de EE. UU. (FAA), que mostraron una tasa de falla media del 53.0%.
  • Razonamiento vs. Recuerdo: Los ítems que requieren razonamiento (60.3% del conjunto) resultaron más difíciles que el recuerdo directo, con una tasa de falla 4.1 puntos mayor.
  • Valores Atípicos: Algunos modelos fuertes en otros dominios colapsaron en este benchmark (por ejemplo, ALLaM 2 7B obtuvo 25.3%, cerca del nivel del azar).
• Problemas de Calidad de Datos: El análisis reveló que algunos "fallos" fueron en realidad errores de la clave de respuestas, donde los modelos convergieron en una opción más consistente con la regulación rectora que la clave registrada. Dos de estos errores fueron corregidos, y otros fueron marcados para revalidación.

Significancia y Reclamaciones
El artículo afirma que la evaluación específica de dominio es una precondición necesaria para el despliegue responsable de la IA generativa en las operaciones comerciales de la aviación. Los resultados demuestran una brecha sustancial y persistente entre las capacidades actuales de los LLM y la confiabilidad requerida para el uso operativo. Los autores argumentan que las puntuaciones de conocimiento agregado suelen sobreestimar la competencia operativa, particularmente donde se requiere un razonamiento de múltiples pasos.

Pre-Flight sirve como una medida concreta y reutilizable del conocimiento operativo "bajo el ala", complementando esfuerzos existentes como ALUE (que apunta a la capa sistémica/espacial) y PilotBench (que apunta a la predicción de trayectoria de vuelo crítica para la seguridad). Al proporcionar un benchmark abierto y reproducible, los autores buscan facilitar el escrutinio de la comunidad, rastrear el progreso a lo largo del tiempo y asegurar que el despliegue de la IA en la aviación esté fundamentado en un conocimiento operativo verificado y no en alucinaciones plausibles. El artículo restringe explícitamente su alcance a funciones que no son críticas para la seguridad, alineándose con el enfoque incremental de la FAA hacia la garantía de seguridad de la IA.