AIVV: Neuro-Symbolic LLM Agent-Integrated Verification and Validation for Trustworthy Autonomous Systems

El artículo presenta AIVV, un marco híbrido que integra modelos de lenguaje grandes en un proceso de verificación y validación automatizado para sistemas autónomos, superando las limitaciones de la clasificación de fallos basada en reglas y reduciendo la carga de trabajo manual mediante la validación colaborativa de anomalías y la generación de artefactos de acción.

Lo esencial

Imagina que tienes un submarino robot (un UUV) que debe navegar por el océano. Este robot es muy inteligente y tiene sensores que le dicen si algo va mal. Pero, como en cualquier viaje por el mar, hay mucho "ruido": olas, corrientes, interferencias eléctricas.

El problema es que el cerebro matemático del robot es muy estricto. Si el agua se agita un poco, el robot grita: "¡ALERTA! ¡ALERTA! ¡ESTAMOS FALLANDO!". En realidad, a veces solo es una ola grande (un "falso positivo").

Antes de este nuevo sistema, si el robot gritaba, un ingeniero humano tenía que dejar todo lo que estaba haciendo, revisar los datos, pensar durante horas y decir: "Tranquilo, es solo una ola, sigue navegando". Esto es lento, costoso y agota a los humanos.

Los autores de este paper proponen AIVV, que es como un sistema de seguridad híbrido que combina la velocidad de las matemáticas con la inteligencia de la conversación. Aquí te lo explico con una analogía sencilla:

🏛️ La Metáfora del "Sistema de Seguridad de Tres Niveles"

Imagina que AIVV es un edificio de seguridad con tres pisos:

1. El Portero Matemático (El "Sentry")

• Qué hace: Es un guardia muy rápido y estricto que no habla, solo calcula. Vigila los sensores del submarino.
• Cómo funciona: Si ve un número que se sale de lo normal (por ejemplo, el submarino gira un poco más de lo esperado), levanta la mano y dice: "¡Pare! Algo no cuadra".
• El problema: A veces levanta la mano por cosas que no son graves (como una ola). Si le dejamos decidir solo a él, el submarino se detendría constantemente por miedo.

2. El Consejo de Sabios (El "Council" de LLMs)

• Qué hace: Cuando el Portero levanta la mano, el caso se envía a un consejo de tres expertos (que son Inteligencias Artificiales avanzadas, llamadas LLMs). No son robots fríos, son como abogados o ingenieros que pueden "leer" y "entender" el contexto.
• Los tres expertos:
  • El Ingeniero de Requisitos: Revisa las reglas del manual. "¿El submarino está violando alguna regla de seguridad estricta?"
  • El Gestor de Fallos: Analiza el daño. "¿Es esto un fallo catastrófico o solo un bache?"
  • El Ingeniero de Sistemas: Es el jefe técnico. "¿Es el sensor el que falla o es el movimiento del agua?"
• La votación: Los tres expertos hablan entre sí (como en una reunión) y votan. Si dos de tres dicen "Es solo ruido, sigue", el sistema ignora la alarma del Portero. Si dos dicen "¡Es un fallo real!", entonces es un problema grave.
• La magia: Estos expertos entienden el lenguaje natural. Pueden leer las instrucciones de la misión y decir: "No, este movimiento brusco es parte del plan de mapa, no es un fallo".

3. El Taller de Reparación (El "Adaptation Pipeline")

• Qué hace: Si el Consejo decide que el Portero Matemático se equivocó (fue una falsa alarma), en lugar de simplemente ignorarlo, el sistema aprende.
• Cómo funciona:
  1. Un "Inspector" (otro experto IA) dice: "Oye, el Portero es muy sensible hoy, ajustemos sus reglas".
  2. Un "Ajustador" (Tuner) toma una copia de seguridad del cerebro del robot, le cambia un poco los ajustes (como afinar un instrumento) y lo prueba en un simulador.
  3. Si la copia funciona mejor, se convierte en el nuevo cerebro del robot en vivo. Si no, se tira a la basura y se mantiene el original para no romper nada.

¿Por qué es esto revolucionario?

1. Velocidad + Sabiduría: Combina la velocidad de las matemáticas (que detectan el problema en milisegundos) con la sabiduría de la IA (que entiende si es un problema real o una falsa alarma).
2. Ahorro de Humanos: Ya no necesitas que un ingeniero humano revise cada alarma. El sistema hace el trabajo sucio de "triaje" automáticamente.
3. Auto-Enseñanza: El sistema no solo detecta errores, sino que se ajusta a sí mismo para no volver a cometer el mismo error de sensibilidad.

En resumen

Imagina que el submarino tiene un guardaespaldas matemático que grita ante cualquier movimiento. A este guardaespaldas le acompaña un equipo de abogados inteligentes que le dicen: "Oye, eso no es un ataque, es solo que el barco se balanceó". Y si el guardaespaldas se equivoca mucho, el equipo de abogados le enseña a ser más tranquilo para que no grite por todo.

El resultado: Un submarino más seguro, que no se detiene por miedo a las olas, y que aprende a navegar mejor por sí mismo sin que un humano tenga que estar pegado a la pantalla las 24 horas.

Resumen técnico

Resumen Técnico: AIVV (Verificación y Validación Integrada por Agentes)

1. Planteamiento del Problema

Los sistemas autónomos críticos, como los Vehículos Submarinos No Tripulados (UUV), dependen de la detección de anomalías en datos de telemetría ruidosos y estocásticos.

• Limitaciones de los modelos actuales: Los modelos de aprendizaje profundo (como RNNs y Transformers) son eficientes para detectar patrones de anomalías catastróficas, pero carecen de escalabilidad para la clasificación de fallos en entornos dinámicos. A menudo no pueden distinguir entre fallos genuinos y "fallos molestos" (nuisance faults) causados por ruido ambiental o respuestas transitorias del sistema de control.
• Cuello de botella humano: Debido a la incapacidad de los algoritmos para validar semánticamente estos falsos positivos, la Verificación y Validación (V&V) depende actualmente de la intervención humana (Human-in-the-Loop o HITL). Esto introduce latencias inaceptables (minutos u horas) y una carga de trabajo insostenible, ya que los expertos no pueden monitorear miles de flujos de sensores simultáneamente.
• Riesgo de los LLMs puros: Aunque los Modelos de Lenguaje Grande (LLMs) ofrecen razonamiento semántico, su tendencia a alucinar y la falta de rigor matemático determinista impiden su integración directa en sistemas de misión crítica, donde un error podría provocar abortos de misión innecesarios.

2. Metodología: AIVV

El autores proponen AIVV, un marco híbrido neuro-simbólico que integra LLMs como un bucle deliberativo externo sobre una base matemática rigurosa. La arquitectura se divide en dos capas principales y tres fases secuenciales:

A. Arquitectura de Capas:

1. Capa de Motor Matemático (Frontline):

   • Utiliza una red LSTM con Dropout de Monte Carlo (MC) para generar predicciones puntuales y estimaciones de incertidumbre epistémica.
   • Aplica Predicción Conformal (Conformal Prediction) para establecer límites de confianza estadísticamente garantizados ($C_\alpha$).
   • Funciona como un "Sentry" (centinela) determinista: si el residuo de la predicción excede el límite conformal, la muestra se marca como anomalía y se escala al siguiente nivel.

2. Capa de Consejo de Agentes (Outer Loop):

   • Un sistema multi-agente (MAS) basado en LLMs que actúa como un panel de expertos para validar semánticamente las anomalías detectadas matemáticamente.
   • Utiliza requisitos en lenguaje natural (NL) para distinguir entre fallos reales y maniobras normales.

B. Flujo de Trabajo en Tres Fases:

1. Fase 1: Puerta Conformal Determinista (The Sentry):
   • Filtra el tráfico de datos. Solo las violaciones de los límites matemáticos pasan al consejo de LLMs, preservando la eficiencia computacional.
2. Fase 2: Adjudicación Deliberativa (The Council):
   • Tres agentes especializados evalúan la anomalía y votan (PASS/FAIL) mediante un sistema de mayoría (2 de 3):
     • Ingeniero de Requisitos: Verifica si el comportamiento viola requisitos operativos en modo normal.
     • Gestor de Fallos: Analiza la severidad y el modo de fallo (ej. divergencia, oscilación).
     • Ingeniero de Sistemas: Combina conocimientos de dinámica del UUV y detección matemática para distinguir fallos reales de ruido.
   • Si la mayoría vota FAIL, se confirma un fallo real. Si vota PASS, se considera una maniobra o ruido.
3. Fase 3: Pipeline de Adaptación (Inspector & Tuner):
   • Si el Consejo determina que una anomalía es un "falso positivo" (ruido o maniobra), se activa un mecanismo de ajuste.
   • Agente Inspector: Decide la estrategia (recalibrar el umbral $\alpha$, fine-tuning del modelo, o ambos).
   • Agente Sintonizador (Tuner): Aplica los cambios a un motor clonado temporalmente (no al modelo en producción).
   • Validación de Seguridad: El clon se prueba contra los límites conformales. Solo si supera la prueba, se promueve al modelo en vivo. Esto evita la "olvido catastrófico" y asegura la estabilidad.

3. Contribuciones Clave

1. Automatización de V&V basada en Roles: Uso de agentes LLM especializados que validan diagnósticos mediante votación mayoritaria y requisitos en lenguaje natural, eliminando la necesidad de intervención humana constante.
2. Mecanismo de Puerta Neuro-Simbólico: Integración única de MC Dropout LSTM y Predicción Conformal con un consejo de LLMs. Esto asegura que solo las anomalías matemáticamente significativas sean sometidas a razonamiento semántico, mitigando alucinaciones.
3. Generación de Artefactos de Ingeniería: El sistema no solo detecta fallos, sino que genera propuestas de acción correctiva estructuradas (ej. ajustes de ganancia PID) y las valida en un entorno seguro (clon) antes de su implementación en vivo.

4. Resultados Experimentales

Los experimentos se realizaron en un simulador de UUV (REMUS 100) con tres escenarios: Hovering (estacionamiento), Patrón de corte de césped (repetitivo) y Misión Compleja (dinámica).

• Tasa de Validación de Fallos (FVR):
  • El sistema AIVV completo logró una FVR del 100% en maniobras de estacionamiento, 89.33% en patrón de corte y 93.33% en misiones complejas.
  • En comparación, el modelo matemático base (sin el consejo de LLMs) tuvo una tasa de falsos positivos extremadamente alta (0% de validación correcta en misiones complejas).
• Mejora por Adaptación:
  • La inclusión del pipeline de adaptación mejoró la precisión general en un 23.11% en el escenario de misión compleja, demostrando que el ajuste dinámico es crucial para entornos no estacionarios.
• Ablación de Roles:
  • Se demostró que la asignación específica de modelos LLM a roles específicos es crítica. Asignar modelos grandes a tareas de síntesis compleja y modelos más pequeños a verificación determinista optimizó el rendimiento. Configuraciones aleatorias causaron caídas drásticas en el rendimiento (hasta 44%).
• Eficiencia:
  • El sistema escaló eficientemente, invocando el pipeline de adaptación solo cuando era estrictamente necesario (promedio de 2 veces por semilla en escenarios simples vs. 87 en complejos), manteniendo la latencia total por muestra en un rango aceptable (~6 segundos en el peor caso).

5. Significado e Impacto

El marco AIVV representa un avance significativo hacia la confiabilidad autónoma en sistemas ciberfísicos:

• Digitalización del HITL: Logra automatizar el proceso de supervisión humana, reduciendo la latencia de validación de horas a segundos.
• Seguridad Garantizada: Al combinar límites matemáticos estrictos con razonamiento semántico y validación en clon, el sistema mitiga los riesgos de alucinación de los LLMs y la ceguera contextual de los modelos puramente matemáticos.
• Escalabilidad: Proporciona una hoja de ruta para la supervisión mediada por LLMs en dominios de series temporales de alta frecuencia, permitiendo la adaptación en línea segura sin intervención humana directa.

En conclusión, AIVV cierra la brecha entre la detección estadística de anomalías y la comprensión semántica de fallos, ofreciendo un sistema de V&V robusto, escalable y capaz de proponer soluciones de rediseño de control autónomo.