A Retrieval-Augmented Language Assistant for Unmanned Aircraft Safety Assessment and Regulatory Compliance

Este artículo presenta y valida un asistente basado en recuperación de información que utiliza exclusivamente fuentes regulatorias autorizadas para apoyar la evaluación de seguridad, la certificación y el cumplimiento normativo de los sistemas de aeronaves no tripuladas, garantizando la trazabilidad y la responsabilidad humana mediante la generación de respuestas fundamentadas en citas y evitando inferencias no verificadas.

Lo esencial

¡Claro que sí! Imagina que este artículo es la historia de cómo los científicos crearon un "Asistente de Búsqueda Inteligente" para ayudar a las personas que diseñan y autorizan drones a volar de forma segura.

Aquí tienes la explicación, traducida a un lenguaje sencillo y con algunas analogías divertidas:

🚁 El Problema: Un Laberinto de Reglas

Imagina que las reglas para volar drones son como un laberinto gigante hecho de miles de documentos legales, manuales y guías técnicas.

• El desafío: Cuando alguien quiere volar un drone (especialmente en situaciones complejas), tiene que encontrar la página exacta en ese laberinto, leerla, entenderla y asegurarse de no saltarse ninguna regla.
• El riesgo: Si un humano se equivoca, busca la página incorrecta o se olvida de una regla pequeña, el drone podría chocar o causar un accidente. Además, las reglas cambian a menudo, y es difícil mantenerse al día.

🤖 La Solución: El "Bibliotecario con Memoria Perfecta"

Los autores (Gabriele, Andrea y Marcello) crearon un asistente de inteligencia artificial (IA) que no es un "genio" que inventa cosas, sino un bibliotecario extremadamente estricto.

1. No inventa, solo busca (La regla de oro)

La mayoría de las IAs modernas son como artistas creativos: a veces inventan historias que suenan muy reales pero que son falsas (alucinaciones).

• Este asistente es diferente: Es como un detective que solo usa pruebas físicas. Si el detective no encuentra una huella dactilar en la escena del crimen, no puede decir "el sospechoso estaba aquí".
• En la práctica: Si el asistente no encuentra la respuesta en los documentos oficiales que le dieron, dice "No lo sé". Nunca inventa una respuesta.

2. El sistema de "Citas y Evidencia" (El rastro de migas)

Imagina que le pides al asistente: "¿Puedo volar mi drone sobre una multitud?".

• Un asistente normal: Te diría "Sí, claro" (y podría estar mintiendo).
• Este asistente: Te diría: "Según el documento X, página 15, párrafo 3, NO puedes hacerlo porque hay una regla de seguridad".
• La analogía: Es como si el asistente te entregara la respuesta junto con el número de página exacto y el texto original para que tú, el humano, puedas verificarlo. No confía ciegamente en la IA; la IA solo prepara el caso para que el juez humano decida.

3. Dos formas de trabajar

El asistente tiene dos "modos" de operar, como un coche con dos marchas:

• Modo Conversación (El Chat): Tú le haces preguntas como si hablaras con un experto ("¿Qué es la evaluación de riesgo SORA?"). Él busca en los libros y te responde con citas.
• Modo Checklist (El Formulario): Tú le das datos específicos (ej: "Mi drone pesa 2kg, vuelo de noche, en ciudad"). Él busca en los libros y te devuelve una ficha técnica con los riesgos y pasos a seguir, lista para que un humano la revise.

🛡️ ¿Por qué es tan importante esto?

En el mundo de la aviación, la seguridad es lo más importante.

• Antes: Un humano tenía que leer cientos de páginas, perder horas buscando y arriesgarse a olvidar algo.
• Ahora: El asistente hace el trabajo sucio de buscar y resumir en segundos. Pero la responsabilidad final sigue siendo del humano.
• La analogía: Piensa en el asistente como un copiloto experto que tiene todos los mapas y manuales a mano. Él te dice: "Oye, aquí hay una tormenta en el mapa, según la regla 4, deberíamos desviarnos". Pero tú eres el capitán que toma la decisión final de girar el volante.

🚫 Lo que NO hace el asistente

Es muy importante entender sus límites:

• No es un juez: No puede decir "Está aprobado". Solo dice "Aquí están las reglas para que tú decidas".
• No es un adivino: Si faltan datos (ej: no sabes el peso del drone), no adivina. Te pregunta: "Falta información, por favor dímela".

En resumen

Este artículo presenta una herramienta que usa Inteligencia Artificial para buscar información, pero con un "candado de seguridad" que le impide inventar nada. Su objetivo es hacer que el proceso de aprobar drones sea más rápido y seguro, actuando como un asistente de investigación infalible que siempre cita sus fuentes, dejando que los expertos humanos tomen las decisiones críticas.

¡Es como tener un asistente que nunca se equivoca al buscar en la biblioteca, pero que siempre te deja la última palabra!

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "Un asistente de lenguaje aumentado por recuperación para la evaluación de seguridad y el cumplimiento normativo de aeronaves no tripuladas", traducido y estructurado en español.

1. Problema y Motivación

El crecimiento rápido en la complejidad, escala y diversidad de las operaciones de aeronaves no tripuladas (drones) ha incrementado significativamente la carga de trabajo para las autoridades de aviación y los solicitantes de certificación. Los marcos de evaluación existentes, como la Evaluación de Riesgos Operativos Específicos (SORA) y la Evaluación de Riesgos Predefinidos (PDRA), requieren un esfuerzo sustancial para localizar pasajes relevantes, cruzar requisitos entre documentos interconectados y compilar evidencia.

El uso directo de Modelos de Lenguaje Grandes (LLM) autónomos en estos flujos de trabajo regulados presenta limitaciones críticas:

• Desactualización: El conocimiento del modelo se fija en el momento del entrenamiento, volviéndose obsoleto ante cambios normativos.
• Alucinaciones: Los modelos pueden generar afirmaciones creíbles pero sin soporte en fuentes autorizadas.
• Falta de trazabilidad: No vinculan automáticamente sus afirmaciones a pasajes regulatorios específicos, lo cual es esencial para la auditoría y la responsabilidad legal.
• Riesgo de ajuste fino (Fine-tuning): Actualizar modelos con nuevos datos puede causar "olvido catastrófico" y complicar la gobernanza.

2. Metodología

El trabajo propone un sistema de Generación Aumentada por Recuperación (RAG) diseñado específicamente para entornos de seguridad crítica. La arquitectura separa estrictamente el almacenamiento de evidencia (corpus regulatorio) de la generación de lenguaje.

A. Ingeniería de Documentos y Preprocesamiento

• Fuente de datos: Se utiliza el Certification Specifications for Unmanned Aircraft Systems (CS-UAS) de la EASA.
• Segmentación manual: A diferencia del "chunking" automático, el contenido se divide manualmente por artículos, medios aceptables de cumplimiento (AMC) y entradas de material general para preservar la integridad legal y semántica.
• Manejo de tablas: Las tablas se extraen mediante un flujo de trabajo especializado que utiliza un LLM para generar títulos, explicaciones narrativas y resúmenes, asegurando que las referencias a notas al pie no se pierdan. Las figuras se excluyen por falta de interpretabilidad normativa en texto plano.
• Metadatos: Cada fragmento (chunk) se enriquece con metadatos (título, resumen, palabras clave) para mejorar la recuperación.

B. Arquitectura de Recuperación Híbrida

El sistema emplea una estrategia de recuperación multi-etapa para maximizar la precisión y la cobertura:

1. Recuperación Densa: Utiliza embeddings (modelo all-MiniLM-L6-v2) y búsqueda de similitud de producto interno (FAISS) para captar relevancia conceptual. Se aplica Maximal Marginal Relevance (MMR) para diversificar los resultados y evitar redundancias.
2. Recuperación Esparsa: Utiliza el algoritmo BM25 para coincidencias léxicas exactas, crucial para términos regulatorios específicos.
3. Fusión Híbrida: Se combinan las listas de resultados mediante Reciprocal Rank Fusion (RRF) para equilibrar la cobertura semántica y la precisión léxica.
4. Reordenamiento (Reranking): Se aplica un reordenador neuronal de interacción tardía (estilo ColBERT) sobre un conjunto de candidatos reducido para refinar la relevancia antes de la generación.
5. Filtrado: Se utiliza un método de "codo" (elbow method) sobre la puntuación de los resultados para descartar evidencia débil antes de pasar al LLM.

C. Generación Controlada y Restricciones

• Modelo LLM: Se utiliza un modelo de 20B parámetros (OpenAI gpt-oss-20B) configurado con parámetros fijos (temperatura baja, top-p controlado) para garantizar reproducibilidad.
• Restricciones de Salida: El modelo está estrictamente limitado a usar solo la evidencia recuperada. Si la información es insuficiente, debe declarar explícitamente la brecha de evidencia en lugar de alucinar.
• Trazabilidad: Cada respuesta debe citar los identificadores de los fragmentos recuperados y las páginas de origen.
• Dos modos de interacción:
  1. Asistente Conversacional: Para preguntas regulatorias y navegación de documentos.
  2. Flujo de Trabajo Orientado a Indicadores: Genera salidas estructuradas (JSON) para tareas de evaluación de seguridad inicial (ej. clasificación de riesgos, profundidad de evaluación).

3. Contribuciones Clave

1. Arquitectura de Asistencia Acotada: Un sistema que actúa como interfaz controlada hacia un corpus autoritativo, priorizando la trazabilidad sobre la autonomía en la toma de decisiones.
2. Estrategia de Ingeniería de Documentos: Un enfoque que combina segmentación manual para unidades legales con procesamiento automatizado de tablas, resolviendo problemas de fragmentación semántica comunes en RAG.
3. Mecanismos de Seguridad a Nivel de Sistema: Implementación de controles como el rechazo explícito ante evidencia insuficiente, la separación de la trazabilidad de la generación y el uso de pipelines híbridos de recuperación para mitigar errores de recuperación.
4. Validación en Casos de Uso Reales: Evaluación del sistema en dos escenarios: asistencia regulatoria conversacional y generación de indicadores para evaluaciones de seguridad SORA/PDRA.

4. Resultados

El sistema fue evaluado mediante experimentos controlados con 5 fragmentos de referencia y 15 variantes de consultas.

• Precisión de Recuperación:
  • Para consultas de coincidencia directa, la recuperación fue perfecta (100% Hit@1).
  • Para parafraseos y reestructuraciones de preguntas, la precisión disminuyó (Hit@1 del 75%), indicando que la reformulación semántica sigue siendo un desafío, aunque la recuperación híbrida mantuvo buenos niveles de recall en los top-10.
• Calidad de la Respuesta (Grounding):
  • Incluso con recuperación perfecta, solo el 50% de las respuestas generadas fueron clasificadas como "totalmente fundamentadas" (todas las oraciones apoyadas por citas).
  • Se observó que el modelo a veces no utilizaba el fragmento de verdad fundamental recuperado, sino fragmentos adyacentes, lo que subraya la necesidad de mejores mecanismos de citación.
• Consistencia en Tareas de Evaluación:
  • En la generación de indicadores estructurados (ej. orientación de riesgo en tierra/aire), la consistencia de los valores categóricos fue alta (91.7% en promedio).
  • La "orientación de la vía regulatoria" fue la más inestable (66.6% de precisión), reflejando la complejidad interpretativa de estos casos.
  • La profundidad de la evaluación esperada alcanzó el 100% de precisión y estabilidad.
• Comportamiento ante Incertidumbre: El sistema demostró capacidad para declarar brechas de evidencia en lugar de inventar datos, cumpliendo con los requisitos de seguridad.

5. Significado e Implicaciones

Este trabajo demuestra que es viable integrar asistentes de IA en flujos de trabajo de aviación crítica siempre que se mantenga la responsabilidad humana y se impongan límites estrictos al sistema.

• Seguridad y Auditoría: La separación entre el almacén de evidencia y la generación, junto con la exigencia de citas explícitas, permite auditar las decisiones y rastrear el origen de cada afirmación.
• Eficiencia Operativa: El sistema reduce significativamente el tiempo dedicado a la navegación de documentos y la compilación de evidencia, acelerando la preparación de informes de cumplimiento.
• Enfoque Conservador: El diseño prioriza la seguridad sobre la completitud; es preferible que el sistema declare incertidumbre o falta de información que generar una conclusión falsa.
• Futuro: El artículo sugiere que la integración de GraphRAG (Recuperación Aumentada por Gráficos de Conocimiento) podría mejorar la recuperación de consultas de múltiples pasos, pero requiere una evaluación cuidadosa de la gobernanza del esquema.

En conclusión, el sistema no reemplaza al experto humano ni toma decisiones autónomas, sino que actúa como una herramienta de apoyo robusta, trazable y auditada, diseñada específicamente para mitigar los riesgos inherentes de los modelos generativos en entornos regulatorios estrictos.