🤖 AI

SIRIN: A Unified Toolkit for Detecting Contextual Hallucinations in Retrieval-Augmented and Memory-Grounded LLM Systems

SIRIN es un conjunto de herramientas unificado e interfaz web interactiva que integra múltiples paradigmas de detección para identificar alucinaciones contextuales y evaluar la capacidad de respuesta de las consultas en sistemas de LLM con recuperación aumentada, agénticos y con base en memoria.

Autores originales: Julia Belikova, Rauf Parchiev, Mikhail Filimonov, Konstantin Polev, Andrey Savchenko, Maksim Makarenko

Publicado 2026-08-04

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Julia Belikova, Rauf Parchiev, Mikhail Filimonov, Konstantin Polev, Andrey Savchenko, Maksim Makarenko

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás charlando con un robot súper inteligente y súper rápido que ha leído casi todos los libros de la biblioteca. Le haces una pregunta y responde instantáneamente con una gramática perfecta y un tono seguro. Pero aquí está el truco: a veces, el robot simplemente se inventa las cosas. Podría decir que un evento histórico ocurrió en la fecha equivocada o que un personaje de una historia hizo algo que nunca hizo. Esto se llama una "alucinación". No es que el robot esté mintiendo a propósito; es simplemente que es tan bueno sonando plausible que se olvida de verificar sus datos.

En el mundo de la Inteligencia Artificial, hay dos formas principales en las que intentamos detener esto. Una forma es darle al robot un conjunto específico de notas (llamadas "contexto" o "evidencia") y decirle: "Responde solo usando estas notas". Esto es como darle a un estudiante una hoja de referencia durante un examen. La otra forma es construir un "detector de verdad" que pueda olfatear cuándo el robot se está alejando de esas notas. Durante mucho tiempo, construir estos detectores de verdad ha sido caótico. Algunos detectores solo funcionan si puedes echar un vistazo dentro del cerebro del robot (su código interno), mientras que otros solo funcionan si puedes leer su respuesta final. Algunos comprueban si el robot tiene confianza, mientras que otros actúan como un profesor estricto calificando el ensayo. Debido a que todas estas herramientas están construidas de forma diferente, ha sido difícil compararlas o usarlas juntas para mantener a nuestra IA honesta.

Entra SIRIN, un nuevo kit de herramientas creado por investigadores del Sber AI Lab que actúa como un traductor universal y una navaja suiza para atrapar estas mentiras de la IA. Piensa en SIRIN como una "Torre de Control de Alucinaciones". En lugar de obligarte a elegir entre diferentes tipos de detectores de verdad, SIRIN reúne todos bajo un mismo techo. Unifica tres formas muy diferentes de verificar a la IA:

El "Escaneo Cerebral" (Probing): Esto mira dentro del cerebro del robot mientras está pensando para ver si está dudando o confundido, incluso antes de hablar.
El "Profesor Estricto" (Judge): Esto utiliza una segunda IA independiente para leer la respuesta y las notas de forma paralela para ver si coinciden.
El "Medidor de Confianza" (Uncertainty): Esto mide qué tan tembloroso se siente el robot sobre su respuesta, como un estudiante nervioso que no está seguro de si estudió lo suficiente.

SIRIN no se detiene solo en atrapar mentiras después de que el robot habla. También comprueba antes de que el robot empiece a escribir si las notas que tiene son realmente suficientes para responder a la pregunta en absoluto. Si las notas faltan, SIRIN dice: "¡Detente! No puedes responder esto todavía", evitando que el robot adivine.

Los investigadores descubrieron que, al combinar estos métodos, podían construir una red de seguridad mucho más fuerte. Cuando probaron SIRIN en varias tareas, el método del "Profesor Estricto" (usando un juez de IA entrenado) fue el más preciso para detectar mentiras, especialmente cuando tenían muchos ejemplos para aprender. Sin embargo, el método del "Escaneo Cerebral" fue sorprendentemente bueno para atrapar errores incluso cuando no tenían muchos ejemplos para estudiar, lo que lo convierte en una opción ligera y eficiente.

Quizás el descubrimiento más emocionante fue cómo SIRin funciona como un "guardián" para los sistemas de memoria a largo plazo. Imagina un agente de IA que recuerda tus conversaciones durante semanas. Si ese agente malinterpreta un detalle, podría construir todo un nuevo recuerdo falso encima de él, acumulando el error. Los investigadores demostraron que, al usar SIRIN como un punto de control antes de que el agente responda, podían aumentar la precisión de las respuestas que sí daba de aproximadamente un 62% a casi un 79%, mientras reducían a la mitad el número de hechos completamente inventados.

En resumen, el artículo sugiere que atrapar las alucinaciones de la IA no se trata de encontrar un detector perfecto. En cambio, se trata de construir un sistema flexible que pueda mezclar y combinar diferentes tipos de verificaciones. SIRIN demuestra que cuando unificas estas herramientas en una interfaz única y fácil de usar, puedes hacer que los sistemas de IA sean significativamente más confiables, detectando afirmaciones sin sustento y resaltando exactamente dónde se equivocó el robot, todo sin necesidad de reescribir el código central de la IA.

Resumen Técnico: SIRIN – Un Kit de Herramientas Unificado para la Detección de Alucinaciones Contextuales

Declaración del Problema

Los Grandes Modelos de Lenguaje (LLMs) generan frecuentemente respuestas fluidas y plausibles que no están fundamentadas en la evidencia proporcionada, un modo de fallo conocido como alucinación contextual. Este problema es particularmente crítico en sistemas de Generación Aumentada por Recuperación (RAG) y sistemas agénticos donde los modelos gestionan la memoria a largo plazo, ya que las afirmaciones no fundamentadas pueden acumularse con el tiempo.

Actualmente, el panorama de la detección de alucinaciones está fragmentado. Los kits de herramientas de código abierto existentes (por ejemplo, LM-Polygraph, RAGAS, DeepEval) suelen soportar solo un subconjunto de paradigmas de detección, operan en granularidades específicas (nivel de respuesta frente a nivel de segmento o span) o carecen de interfaces unificadas para comparar diferentes métodos. Además, la mayoría de las herramientas se centran únicamente en la fidelidad post-generación, descuidando la tarea complementaria de la capacidad de respuesta de la consulta (determinar si el contexto es suficiente antes de la generación). Esta fragmentación dificulta la combinación de señales complementarias, la evaluación comparativa de detectores o su despliegue como una capa de confianza unificada en sistemas de producción.

Metodología: El Marco de Trabajo SIRIN

SIRIN (Semantic Inconsistency Recognition and Inspection Nexus) aborda esta fragmentación tratando la detección de alucinaciones como un problema de infraestructura. Proporciona un kit de herramientas plug-in unificado que integra tres paradigmas de detección distintos y una tarea de pre-generación bajo una única interfaz, sistema de configuración y pipeline de evaluación.

1. Familias de Detectores Unificados

SIRIN agrupa los detectores en tres familias, soportando configuraciones tanto de caja blanca (acceso a estados internos del modelo) como de caja negra (solo texto):

Sondeo o Probing (Caja blanca): Entrena clasificadores ligeros (por ejemplo, cabezales lineales, CatBoost, TabPFN) sobre características internas congeladas como estados ocultos, mapas de atención y probabilidades de tokens. Estos sondeos separan las salidas fieles de las alucinadas basándose en señales de representación.
Estilo Juez (Caja negra/Solo texto): Se basa en entradas y salidas observables. Esto incluye clasificadores basados en codificadores (por ejemplo, ModernBERT, DeBERTa) y verificación mediante LLM como juez (por ejemplo, Qwen, GPT-5.4-mini) para comprobar la consistencia semántica o las contradicciones entre la evidencia y la respuesta.
Estimación de Incertidumbre (UE): Envuelve la librería LM-Polygraph para exponer varios estimadores de incertidumbre (basados en verosimilitud, basados en muestreo, conscientes de la atención) que califican las generaciones según patrones de confianza del modelo (por ejemplo, entropía, perplejidad).

2. Arquitectura del Pipeline

SIRIN implementa un pipeline configurable que procesa triples de entrada $(c, q, a)$ para la detección de alucinaciones o pares $(c, q)$ para la capacidad de respuesta.

Esquema de Informe Compartido: Todos los detectores emiten un informe estandarizado que contiene una puntuación de probabilidad calibrada ( $s \in [0, 1]$ ), una etiqueta predicha y evidencia opcional (puntuaciones de segmentos o razonamientos).
Procesamiento Eficiente: Para el sondeo, el pipeline extrae características de un LLM congelado en una sola pasada hacia adelante (forward pass), lo que permite procesar múltiples familias de características simultáneamente sin llamadas redundantes al modelo.
Granularidad: El sistema soporta puntuaciones tanto a nivel de respuesta (para control en tiempo de ejecución) como a nivel de segmento (span) (para inspeccionar segmentos de texto específicos no respaldados), utilizando un divisor/agregador reutilizable.
Extensibilidad: Los nuevos detectores se añaden mediante tres puntos de conexión: un procesador de características, un detector o un agregador. La configuración se gestiona mediante archivos tipados compatibles con Hydra, lo que permite el cambio de tareas sin reescribir el pipeline.

3. Interfaz Web Interactiva

SIRIN incluye una interfaz web basada en Streamlit que permite a los usuarios introducir triples de contexto-consulta-respuesta, seleccionar detectores de cualquier familia y visualizar los resultados. Las características incluyen:

Puntuación de alucinación en vivo.
Resaltado de segmentos no respaldados con puntuaciones de riesgo por segmento.
Comparación lado a lado de las salidas de diferentes detectores.
Soporte para ejemplos curados de conjuntos de datos como RAGTruth, PsiloQA y Mu-SHROOM.

Contribuciones Clave

Kit de Herramientas Unificado: SIRIN es el primer kit de herramientas de código abierto que unifica los métodos de sondeo, estilo juez y estimación de incertidumbre, junto con la capacidad de respuesta de la consulta, bajo una interfaz compartida que soporta regímenes de caja blanca y caja negra a nivel de respuesta y de segmento.
Inspección Interactiva: Una interfaz web en vivo que permite el análisis de triples de contexto-consulta-respuesta, la visualización de segmentos no respaldados y la comparación directa del rendimiento de los detectores.
Demostración Empírica: Los autores demuestran la utilidad de SIRIN en:
- La detección de alucinaciones contextuales y la capacidad de respuesta de la consulta en múltiples evaluaciones comparativas.
- La integración como una puerta de fidelidad (faithfulness gate) dentro del sistema de memoria a largo plazo SimpleMem, actuando como una capa de predicción selectiva.

Resultados Experimentales

Detección a Nivel de Respuesta

Evaluado en RAGTruth y SQuAD 2.0:

Sondeo (Probing): Los sondeos ligeros lograron resultados sólidos (por ejemplo, 88.0 AUROC en RAGTruth QA), superando a los jueces basados en codificadores ajustados con datos escasos.
Jueces: Los jueces de decodificador ajustados con LoRA (por ejemplo, Qwen3-4B) alcanzaron el mayor rendimiento cuando había suficientes anotaciones disponibles (93.5 AUROC en RAGTruth QA), superando a los sondeos por 5.5–9.0 puntos de AUROC. El modelo zero-shot GPT-5.4-mini mostró un rendimiento competitivo.
Incertidumbre: Los estimadores de incertidumbre no supervisados (por ejemplo, MeanTokenEntropy, RAUQ) proporcionaron líneas base más débiles (58.8–69.0 AUROC) pero no requirieron datos de entrenamiento.
Capacidad de Respuesta (Answerability): El mismo pipeline gestionó con éxito las comprobaciones de capacidad de respuesta pre-generación, con el sondeo de agrupación de atención alcanzando 87.9 AUROC en SQuAD 2.0.

Detección a Nivel de Segmento (Span-Level)

Evaluado en PsiloQA (subconjunto en inglés):

Los sondeos proporcionaron un ranking de alta calidad (hasta 76.0 AUROC) y siguieron siendo efectivos cuando las anotaciones de segmentos eran escasas.
Los jueces entrenados (LoRA-Qwen3-4B) lograron las mejores métricas de localización (74.8 F1, 69.3 IoU) en entornos ricos en anotaciones, mientras que el etiquetado de segmentos zero-shot falló significativamente.

Integración con el Sistema de Memoria (SimpleMem)

SIRIN se integró como una capa de confianza en el sistema SimpleMem en LongMemEval:

Mecanismo: Se aplicaron dos puertas: una puerta de capacidad de respuesta (pre-generación) para expandir la recuperación si la consulta no es cubierta, y una puerta de fidelidad (post-generación) para validar los segmentos contra la evidencia.
Resultado: La combinación de ambas puertas aumentó la precisión de las respuestas servidas de un valor base de 62.4% a 79.3%, reduciendo simultáneamente la falta de fidelidad estricta de 20.2% a 9.8%. Esto se logró sin costes de generación adicionales, utilizando predicción selectiva (servir, reintentar o abstenerse).

Significado y Reivindicaciones

El artículo postula que la detección de alucinaciones contextuales es un problema de infraestructura más que un desafío de un solo detector. La importancia de SIRIN radica en:

Estandarización: Proporcionar un entorno común para desarrollar, evaluar y desplegar detectores a través de diferentes paradigmas.
Practicidad: Demostrar que los sondeos ligeros son efectivos cuando hay pocos datos, mientras que los jueces entrenados dominan con suficientes datos.
Mejora Sistémica: Mostrar que una capa de detección unificada puede actuar eficazmente como una "capa de confianza" para sistemas de memoria agéntica, mejorando significativamente la fiabilidad y reduciendo las alucinaciones sin requerir cambios en la arquitectura de memoria subyacente.

Los autores concluyen que SIRIN representa un paso hacia la conversión de la verificación en una capa estándar en el stack de los LLMs, donde cada respuesta fundamentada es verificada, los segmentos no respaldados son visibles y los nuevos detectores se integran fácilmente mediante plug-ins.

Limitaciones

Los autores señalan que los detectores actuales han sido entrenados con datos en inglés y no han sido validados en entornos multilingües. El rendimiento depende de la calidad y la coincidencia de dominio de los datos anotados, lo que podría requerar una recalibración para despliegues fuera de dominio. Además, los resultados de la puerta de memoria fueron evaluados con un único backbone generador, y la interfaz Web está actualmente limitada por la memoria GPU en cuanto al número de modelos cargados simultáneamente.