Neuro-Symbolic Verification of LLM Outputs for Data-Sensitive Domains (extended preprint)

Resumen Técnico: Verificación Neuro-Simbólica de las Salidas de los Modelos de Lenguaje Grande para Dominios Sensibles a los Datos

Declaración del Problema
Los Modelos de Lenguaje Grande (LLM) enfrentan desafíos fundamentales de fiabilidad al desplegarse en dominios de alto riesgo y sensibles a los datos, como el diagnóstico médico, la revisión legal y los asuntos regulatorios. Estos desafíos incluyen alucinaciones (generación de información creíble pero falsa), inconsistencias y vulnerabilidades de privacidad. En estos contextos, los errores conllevan consecuencias legales, financieras o de seguridad, lo que hace inaceptables las tasas de alucinación del 3–10% observadas en los modelos más avanzados. Además, las estrictas restricciones regulatorias e institucionales a menudo mandan el procesamiento local de datos para garantizar la soberanía de los datos, limitando la utilidad de las API basadas en la nube y de los LLM de propósito general. Los enfoques existentes, como la generación aumentada por recuperación (RAG) o la indicación de cadena de pensamiento, carecen de las garantías necesarias para entornos especializados, mientras que los métodos de auto-verificación heredan los sesgos distribucionales de los modelos que intentan verificar.

Metodología
El artículo propone una arquitectura de verificación híbrida que combina métodos simbólicos formales con análisis semántico neuronal para proporcionar garantías complementarias. El sistema está diseñado en torno a cuatro principios fundamentales: procesamiento local primero, separación modular de componentes simbólicos y neuronales, aislamiento de fallos basado en actores y verificación de afirmaciones consciente de tipos.

1. Verificación Simbólica de la Entrada (Pre-procesamiento):
   La arquitectura emplea lógica basada en tablas para validar las restricciones de entrada antes de que ocurra cualquier inferencia del LLM. Este método descompone los requisitos de validación en una jerarquía configurable de condiciones declarativas. Las condiciones centrales evalúan predicados atómicos (por ejemplo, presencia de metadatos), mientras que las meta-condiciones de orden superior expresan relaciones teóricas de conjuntos (por ejemplo, obligaciones acumulativas o rutas alternativas de suficiencia). Este enfoque proporciona garantías decidibles, sólidas y completas para requisitos estructurados, actuando como un "alto definitivo" para violaciones críticas o como un sistema de advertencia graduado para discrepancias menores.

2. Concurrencia Basada en Actores:
   Para garantizar la robustez y el aislamiento de fallos, el sistema utiliza el modelo de actores (implementado mediante Elixir en la máquina virtual Erlang). Las tuberías de verificación ejecutan múltiples flujos de análisis heterogéneos (validación de reglas simbólicas, extracción de entidades, comparaciones de incrustaciones neuronales) de forma concurrente sin estado mutable compartido. Los actores supervisores monitorean los procesos trabajadores, reiniciando automáticamente los componentes fallidos (por ejemplo, tiempos de espera de inferencia neuronal) sin corromper el estado de validación simbólica más amplio.

3. Verificación Híbrida de la Salida (Post-procesamiento):
   La arquitectura implementa una estrategia de verificación consciente de tipos para el contenido generado por LLM:

   • Entidades Estructuradas: Para datos deterministas (fechas, identificadores, valores numéricos), el sistema utiliza coincidencia de patrones simbólicos y comparación basada en expresiones regulares para proporcionar una verificación exacta.
   • Afirmaciones de Texto Libre: Para el contenido semántico, el sistema emplea similitud semántica basada en incrustaciones (utilizando codificadores de oraciones multilingües) para detectar alucinaciones contextuales donde los métodos formales carecen de expresividad.
   • Integración Paralela: Los flujos de procesamiento simbólico y neuronal se ejecutan en paralelo. En escenarios de recuperación, el filtrado simbólico reduce el espacio de búsqueda (por ejemplo, por tipo de sección o ID de informe) antes de la clasificación neuronal, reduciendo el ruido y el uso de tokens para modelos desplegados localmente.

4. Diseño de Preservación de la Privacidad:
   El sistema impone un procesamiento "local primero", asegurando que toda la inferencia, las incrustaciones y la verificación ocurran en hardware local. Los datos sensibles se aíslan dentro de subárboles de supervisión dedicados, y las incrustaciones vectoriales sirven como transformaciones con pérdida para colecciones indexadas, garantizando una protección de la teoría de la información.

Implementación del Sistema: HAIMEDA
La arquitectura se instancia en HAIMEDA (IA Híbrida para la Evaluación de Dispositivos Médicos), un sistema desarrollado mediante Investigación de Diseño de Acción (ADR) con un experto en el dominio. HAIMEDA está diseñado para el contexto legal alemán, donde un testigo experto juramentado debe producir informes de evaluación de daños bajo estrictas restricciones de confidencialidad y soberanía de datos. El sistema integra:

• Módulo de Redacción de Informes (RAM): Gestiona la generación mediante modelos Llama3-DiscoLeo-Instruct-8B ajustados finamente.
• Módulo de Investigación e Indagación (RIM): Ejecuta la reducción híbrida para la recuperación de conocimiento del dominio.
• Módulo de Verificación de Integridad de la Información (IIVM): Realiza una verificación multifase contra el material fuente.

Resultados
La evaluación se realizó en hardware de nivel de consumo (AMD Ryzen 9, NVIDIA RTX 4090) para reflejar las restricciones realistas de despliegue local.

• Detección de Alucinaciones: El sistema logró tasas de detección superiores al 83% para entidades estructuradas (mediante verificaciones simbólicas) y del 72% para fabricaciones semánticas (mediante similitud neuronal). La lógica de pre-procesamiento logró una detección del 100% de las condiciones requeridas faltantes.
• Eficiencia del Flujo de Trabajo: La evaluación práctica con un experto en el dominio reveló una reducción del 30% en el tiempo total de creación de informes. Específicamente, el tiempo de redacción de contenido disminuyó un 50% y el tiempo de investigación basada en documentos disminuyó un 33%, aunque el tiempo de revisión final aumentó debido al proceso de verificación.
• Usabilidad del Sistema: El sistema obtuvo una puntuación de 62.5 en la Escala de Usabilidad del Sistema (SUS).

Significado y Afirmaciones
El artículo afirma que las arquitecturas neuro-simbólicas pueden proporcionar salvaguardias fundamentadas para el despliegue de LLM en dominios sensibles a los datos al abordar las limitaciones de los enfoques puramente neuronales. La contribución principal es una arquitectura agnóstica al modelo que fundamenta las garantías formales en la validación simbólica en lugar de depender de las capacidades de un único modelo base. Al separar las tareas de verificación según su naturaleza (restricciones decidibles frente a ambigüedad semántica), el sistema ofrece una solución escalable para garantizar la integridad de la información sin comprometer la soberanía de los datos. Los autores enfatizan que este enfoque va más allá de soluciones puntuales para ofrecer un patrón arquitectónico generalizable para la IA híbrida, habilitando tuberías de control de calidad desplegables localmente y con aislamiento de fallos, esenciales para industrias reguladas. El artículo reconoce limitaciones, incluida la dependencia de la cobertura de reglas específicas del dominio y la necesidad de trabajos futuros sobre transferencia entre dominios y estudios de ablación.