AeroGround: An Open, Citation-Grounded Aviation Dataset forTraining and Evaluating Trustworthy Domain Language Models

Resumen Técnico: AeroGround

Declaración del Problema
El dominio aeroespacial es de seguridad crítica y está fuertemente regulado, donde las respuestas plausibles pero no sustentadas de los Modelos de Lenguaje de Gran Escala (LLM) plantean riesgos significativos. El progreso en la aplicación de los LLM en este campo se ve actualmente limitado por la ausencia de conjuntos de datos abiertos que cumplan simultáneamente tres criterios: (i) que estén fundamentados en fuentes autorizadas, (ii) que el material de origen esté libre de gravámenes de licencia, y (iii) que se publiquen en formatos adecuados para el entrenamiento de profesionales. Las soluciones existentes suelen carecer de un seguimiento estricto de la procedencia o dependen de material protegido por derechos de autor, lo que impide el desarrollo de asistentes de aviación confiables y con base en citas.

Metodología
El artículo presenta AeroGround, un pipeline de construcción de conjuntos de datos y el recurso resultante, diseñado para entrenar y evaluar modelos que respondan a partir de texto autoritativo y se abstengan cuando la evidencia sea insuficiente.

• Fuentes de Datos: El corpus se construye íntegramente a partir de fuentes de dominio público de EE. UU.: la serie de manuales de aviación de la FAA (FAA-H-8083) y el Título 14 del Código de Regulaciones Federales (14 CFR). Los materiales de la OACI fueron excluidos debido a restricciones de derechos de autor.
• Procesamiento del Corpus: Los textos de origen fueron fragmentados mediante segmentación consciente de tokens en 14,399 segmentos, cada uno rastreado con metadatos de procedencia (fuente, cita, licencia). Se construyó un índice de recuperación utilizando embeddings BAAI/bge-small-en-v1.5 y FAISS.
• Pipeline de Generación:
  • Pares de Preferencia: Para los pasajes muestreados, se sintetizaron preguntas de estilo de examen. Se generó una respuesta "elegida" condicionada al contexto recuperado (con citas integradas) utilizando Meta Llama 3-8B-Instruct, mientras que una respuesta "rechazada" se generó de manera de libro cerrado (closed-book).
  • Verificación: Un filtro léxico de soporte de afirmaciones eliminó los pares donde la respuesta elegida no estaba sustentada por el contexto recuperado.
  • Casos Límite de Abstención: Aproximadamente el 10% de los datos consisten en preguntas reales emparejadas con contextos deliberadamente irrelevantes, entrenando al modelo para emitir una negativa segura estandarizada ("Datos insuficientes para el asesoramiento de protocolos de vuelo seguro").
• Verificación de Fundamentación: El conjunto de datos emplea dos señales libres de modelos para verificar la fundamentación sin etiquetas humanas:
  1. Soporte de Oración: La fracción de oraciones de la respuesta cuyas palabras de contenido aparecen en la fuente.
  2. Soporte de Entidad: La fracción de hechos específicos (números, identificadores de la FAA, secciones del CFR) que aparecen en la fuente.
  • Una revisión humana estratificada de una muestra corroboró la evaluación automatizada, confirmando que las puntuaciones automatizadas bajas señalaban correctamente las afirmaciones no sustentadas.
• Entrenamiento y Evaluación de Modelos:
  • Entrenamiento: Se realizó un ajuste fino (fine-tuning) de un modelo Llama 3-8B-Instruct utilizando QLoRA y Optimización de Preferencia Directa (DPO) sobre los pares de preferencia. La estructura del prompt incluyó instrucciones del sistema, contexto recuperado y la pregunta.
  • Cuantificación de la Incertidumbre (UQ): Se implementó una pila de tres capas:
    1. Aleatoria: Califica la relevancia entre la pregunta y el contexto, así como la dispersión de la recuperación.
    2. Epistémica: Mide la entropía predictiva de tokens y la entropía semántica con una regla de detención epistémica.
    3. Fusión: Un calibrador logístico fusiona las señales para decidir si responder o abstenerse.

Contribuciones Clave

1. Conjunto de Datos AeroGround: Un conjunto de datos de aviación de origen de dominio público, con seguimiento de procedencia y liberado en cuatro formatos: preferencia (DPO), supervisado (SFT), abstención y recuperación.
2. Pipeline Reproducible: Un pipeline de generación y verificación que empareja respuestas con texto de fuente citado real y cuantifica la fundamentación automáticamente.
3. Auditoría de Fundamentación: Una auditoría exhaustiva que establece la confiabilidad a través de métricas de validez de citas, soporte de oraciones/entidades y muestras revisadas por humanos.
4. Demostración de Utilidad: Un pipeline totalmente evaluado que combina el entrenamiento RALA-DPO con una pila de UQ de tres capas para una abstención calibrada.

Resultos

• Composición del Conjunto de Datos: El conjunto de datos final contiene 9,988 pares de preferencia (8,815 fundamentados, 1,173 de abstención calibrada) derivados de 14,399 fragmentos del corpus.
• Calidad de la Fundamentación: Las respuestas fundamentadas lograron un 96.9% de soporte de oración y un 98.2% de soporte de entidad, superando significativamente a las bases de libro cerrado (60.5% y 82.1%, respectivamente). El 90.5% de las respuestas fundamentadas pasaron un filtro estricto de oro verificado.
• Desempeño del Modelo:
  • En los ítems fundamentados que el modelo decidió responder, la calidad de la generación fue de ROUGE-L 0.593 y BLEU-4 46.35.
  • La puerta de abstención calibrada logró una precisión balanceada de 0.875.
  • Las métricas de calibración fueron sólidas: ECE = 0.033, Brier = 0.061 y AUROC = 0.973.
  • La puerta demostró un 0.940 de recall para ítems de abstención de borde (intencionalmente no respondibles), pero resultó en una tasa de sobre-abstención del 19% en ítems fundamentados, un compromiso conservador que favorece la seguridad.
• Observación sobre la Calibración: La puerta de abstención se mantuvo bien calibrada incluso cuando la política DPO estaba sobre-optimizada (pérdida cercana a cero), lo que sugiere que las señales del lado de la recuperación (relevancia pregunta-contexto) pueden suministrar una abstención calibrada cuando la confianza interna del modelo está inflada.

Significancia y Reivindicaciones
El artículo afirma que AeroGround aborda la brecha crítica en los datos de entrenamiento abiertos y confiables para dominios de seguridad crítica. Al proporcionar un conjunto de datos donde cada respuesta fundamentada es verificada contra su fuente citada, permite el entrenamiento de asistentes que pueden citar texto autoritativo y, crucialmente, abstenerse cuando la evidencia es insuficiente. Los autores posicionan a AeroGround como un recurso de investigación destinado a sembrar aplicaciones más amplias del procesamiento de lenguaje natural moderno en el sector aeroespacial, declarando explícitamente que no debe utilizarse para decisiones operativas de vuelo. El trabajo demuestra que combinar la generación aumentada por recuperación con una cuantificación de la incertidumbre rigurosa puede producir modelos que sean tanto informativos como conscientes de la seguridad, incluso en entornos altamente regulados.