A Risk-Oriented Verification and Validation Framework for Hallucination Detection in Public-Sector LLM Systems

Resumen Técnico: Un Marco de Verificación y Validación Orientado al Riesgo para la Detección de Alucinaciones en Sistemas de LLM del Sector Público

Planteamiento del Problema
El artículo aborda el desafío crítico de la "alucinación" (la generación de contenido fluido pero carente de fundamento fáctico) en los Modelos de Lenguaje Extensos (LLM) desplegados en sistemas administrativos y legales del sector público. A diferencia de las aplicaciones de consumo, los resultados del sector público conllevan un peso legal; una orientación procedimental errónea, citas legales falsas o designaciones de autoridad incorrectas pueden socavar la certeza jurídica, la responsabilidad administrativa y la confianza ciudadana.

El autor sostiene que la literatura existente trata la alucinación principalmente como un problema de precisión técnica, basándose en métodos de detección centrados en el modelo (por ejemplo, muestreo de autoconsistencia, entropía semántica) o en la generación aumentada por recuperación (RAG). Estos enfoques suelen ser inadecuados para el despliegue en el sector público porque frecuentemente asumen el acceso a los estados internos del modelo, capacidades de reentrenamiento o parámetros de inferencia específicos, condiciones que rara vez se cumplen cuando se utilizan APIs de LLM de caja negra. Además, los métodos actuales se centran en la precisión de la detección en lugar de en las implicaciones de gobernanza de la misma, fallando al no traducir las señales de riesgo en decisiones operativas (por ejemplo, cuándo escalar a oficiales humanos).

Metodología
El artículo propone un Marco de Verificación y Validación (V&V) Orientado al Riesgo que redefine la alucinación no como un problema de optimización del modelo, sino como un riesgo operativo y de gobernanza gestionable. La metodología es agnóstica al modelo, basándose únicamente en salidas observables, fuentes autoritativas externas y restricciones basadas en reglas, lo que la hace aplicable a entornos de caja negra.

El marco opera a través de cuatro etapas interconectadas:

1. Descomposición Administrativa Basada en Slots (Ranuras):
   Las respuestas del LLM se descomponen en cinco "slots" administrativamente significativos que corresponden a elementos procedimentales:

   • Documentos requeridos
   • Autoridad competente
   • Cronograma de procesamiento
   • Tasas/Cargos
   • Base legal
     Esta descomposición permite una localización granular del riesgo, reconociendo que los errores en slots de alto impacto (por ejemplo, base legal) son más trascendentales que los errores en slots de bajo impacto (por ejemplo, documentos de apoyo).

2. Detección de Señales de Riesgo a Nivel de Slot:
   Se calculan tres indicadores cuantitativos para cada slot:

   • Puntuación de Inestabilidad de Slot (SIS): Mide la inestabilidad entre muestras mediante la generación de múltiples respuestas independientes a la misma consulta. Una alta varianza indica incertidumbre epistémica.
   • Puntuación de Cobertura de Citación (CCS): Evalúa si el contenido del slot está respaldado explícitamente por fuentes autoritativas válidas (por ejemplo, textos estatutarios). Un puntaje de cero en slots de alto riesgo se trata como un indicador crítico.
   • Puntuación de Violación de Reglas (RVS): Una verificación binaria contra restricciones estructurales y jurisdiccionales predefinidas (por ejemplo, verificar si una ley citada existe o si una autoridad tiene jurisdicción).

3. Agregación en el Índice de Riesgo de Alucinación (HRI):
   Las señales a nivel de slot se agregan en un Índice de Riesgo de Alucinación (HRI) compuesto. Se trata de una suma ponderada donde los pesos ($w_i$) reflejan el impacto administrativo del slot específico. La fórmula incorpora coeficientes de ajuste ($\alpha, \beta, \gamma$) para equilibrar la inestabilidad, la falta de citación y las violaciones de reglas:
   $$HRI = \sum_{i} w_i \cdot (\alpha \cdot SIS_i + \beta \cdot (1 - CCS_i) + \gamma \cdot RVS_i)$$
   El HRI sirve como un puntaje de riesgo operativo en lugar de una probabilidad de corrección.

4. Flujo de Trabajo de Decisión Operativa:
   El HRI se mapea a estados operativos predefinidos basados en umbrales:

   • APROBADO (HRI < 0.20): Entrega directa.
   • ADVERTENCIA (0.20 ≤ HRI < 0.35): Respuesta condicional con aclaración.
   • DIFERIR (0.35 ≤ HRI < 0.50): Retener afirmaciones autoritativas; aislar slots de alto riesgo.
   • DIRIGIR (HRI ≥ 0.50): Escalamiento obligatorio a oficiales humanos.
   • Reglas de Anulación (Override): Condiciones específicas (por ejemplo, RVS=1 para base legal) activan el escalamiento inmediato independientemente del puntaje agregado para evitar la falsa seguridad derivada de la agregación estadística.

5. Artefactos de V&V Estilo ISO/IEC:
   El marco formaliza la gestión de alucinaciones en artefactos estándar de aseguramiento de software, incluyendo casos de prueba con objetivos explícitos, precondiciones y criterios de aceptación cuantitativos, garantizando la auditabilidad y la trazabilidad.

Contribuciones Clave

• Reencuadre de la Gobernanza: Cambia el paradigma de "detectar alucinaciones" a "gestionar el riesgo de alucinación", alineando el despliegue de LLM con los requisitos de rendición de cuentas y auditoría del sector público.
• Compatibilidad con Caja Negra: Proporciona un mecanismo de verificación viable para entornos donde los modelos no pueden ser reentrenados o inspeccionados internamente.
• Cuantificación Granular del Riesgo: Introduce el HRI, una métrica compuesta que traduce señales técnicas heterogéneas en un índice orientado a la gobernanza, interpretable por auditores y tomadores de decisiones.
• Supervisión Humana Proporcional: Establece un flujo de trabajo donde la intervención humana se activa proporcionalmente a los niveles de riesgo, equilibrando la eficiencia operativa con la seguridad institucional.
• Estandarización: Integra la gestión de alucinaciones en los procesos de V&V existentes de estilo ISO/IEC, facilitando la adopción dentro de los marcos de contratación pública y aseguramiento de la calidad.

Resultados y Evaluación
El artículo presenta el marco a través de escenarios ilustrativos que involucran el registro de estado civil, licencias y consultas de bienestar social. La evaluación demuestra cómo el marco procesa estos escenarios:

• Identifica con éxito salidas de alto riesgo (por ejemplo, citas legales fabricadas o autoridades incorrectas) que podrían pasar como "autoconsistentes" en las verificaciones tradicionales centradas en el modelo.
• Muestra cómo el HRI diferencia entre inconsistencias informativas de bajo impacto y errores procedimentales de alto impacto, activando las acciones apropiadas de "DIFERIR" o "DIRIGIR".
• Valida que el marco puede interceptar salidas peligrosas antes de que lleguen a los canales oficiales, convirtiendo el comportamiento opaco del modelo en riesgos operativos cuantificables y controlables.

Significancia y Reivindicaciones
El artículo afirma que su principal significancia radica en ofrecer un enfoque práctico y consistente con la gobernanza para desplegar LLM en el sector público sin socavar la predictibilidad legal. Sostiene que:

• La confianza se construye sobre el control, no sobre la infalibilidad: La confianza institucional en la IA no debe depender de afirmaciones de precisión perfecta, sino de procedimientos transparentes y auditables para identificar y gestionar los fallos.
• La diferenciación de riesgos es esencial: No todas las alucinaciones son iguales; el enfoque basado en slots del marco asegura que los recursos de gobernanza se centren en los elementos procedimentales más trascendentales.
• La integración es factible: Al mapear los riesgos de alucinación a las prácticas estándar de aseguramiento de software, el marco elimina las barreras institucionales para la adopción de la IA, permitiendo que las agencias públicas aprovechen los LLM mientras se adhieren a los principios establecidos de derecho administrativo y rendición de cuentas.

El autor señala modestamente que el estudio se basa en escenarios demostrativos en lugar de un benchmarking cuantitativo masivo y que el marco es un complemento, no un reemplazo, de las estrategias de mitigación a nivel de modelo como RAG. Se sugiere como trabajo futuro incluir el ajuste empírico de umbrales y la expansión a contextos multimodales.