How Far Can You Get Without a GPU? A Systematic Benchmark of Lightweight Hallucination Detection Across Question Answering, Dialogue, and Summarisation

Resumen Técnico: Evaluación Sistemática de la Detección Ligera de Alucinaciones

Planteamiento del Problema
El despliegue de Modelos de Lenguaje Extensos (LLMs) en dominios de alto riesgo requiere una detección de alucinaciones robusta. Sin embargo, los métodos de detección más precisos actualmente dependen de requisitos de uso intensivo de recursos: inferencia acelerada por GPU, llamadas a APIs propietarias o acceso de caja blanca a los componentes internos del modelo (por ejemplo, probabilidades de tokens). Estas restricciones excluyen a investigadores y profesionales con recursos limitados. Este artículo aborda la pregunta de qué tan efectivamente se puede realizar la detección de alucinaciones utilizando únicamente métodos ligeros, factibles en CPU y construidos sobre modelos de acceso público, sin llamadas a APIs ni acceso a los componentes internos del modelo generador.

Metodología
Los autores realizaron una evaluación sistemática de cinco métodos de detección distintos a través de las tres tareas del conjunto de datos HaluEval: Respuesta a Preguntas (QA), Diálogo y Resumen. El estudio utilizó un CPU de una computadora portátil estándar y modelos públicos.

1. Métodos Evaluados:

   • ROUGE-L: Una métrica de solapamiento léxico que mide la subsecuencia común más larga entre la fuente y el candidato.
   • Similitud Semántica: Similitud de coseno entre los embeddings de la fuente y el candidato utilizando all-MiniLM-L6-v2 (~22M de parámetros).
   • BERTScore: Una medida F contextual a nivel de token utilizando un núcleo DistilBERT.
   • Detector NLI: Un enfoque de Inferencia de Lenguaje Natural utilizando un modelo DeBERTa-v3-base (~184M de parámetros) ajustado mediante MultiNLI, FEVER y Adversarial NLI. La fuente (truncada a 800 caracteres) más el contexto sirven como premisa, y el candidato como hipótesis. La puntuación se deriva como $s = 1 - P(\text{implicación})$.
   • Ensemble (Conjunto): Una combinación lineal a nivel de puntuación de las puntuaciones de NLI y Similitud Semántica ($s = \alpha s_{NLI} + (1-\alpha)s_{sim}$), con pesos ($\alpha$) optimizados mediante búsqueda de cuadrícula (grid search) en un conjunto de validación.

2. Configuración Experimental:

   • Datos: Se extrajeron 3,000 muestras por tarea de HaluEval (semilla 42).
   • División: 1,000 instancias para validación (calibración de umbral y peso) y 2,000 instancias para prueba.
   • Calibración: Los umbrales se seleccionaron en el conjunto de validación para maximizar el índice de Youden (TPR - FPR) y se aplicaron sin cambios al conjunto de prueba.
   • Métricas: Precisión (Accuracy), Precisión (Precision), Exhaustividad (Recall), F1 (donde positivo = alucinación) y AUC-ROC.

Resultados Clave
Se encontró que el rendimiento es altamente dependiente de la tarea, sin que un único método domine en todos los escenarios.

• Respuesta a Preguntas (QA): Esta fue la tarea más tratable. El método de Ensemble logró el mejor rendimiento (F1 = 0.792, AUC-ROC = 0.873), superando al mejor método individual por aproximadamente 5 puntos. El solapamiento de tokens contextual (BERTScore) demostró ser una señal más fuerte que la similitud de coseno a nivel de oración.
• Diálogo: El rendimiento se degradó en comparación con QA. El detector NLI surgió como el método individual más fuerte (AUC-ROC = 0.713, Recall = 0.781), lo que indica que el razonamiento de implicación se transfiere eficazmente a entornos conversacionales. Los métodos léxicos y de embeddings se agruparon en niveles inferiores (AUC-ROC 0.61–0.66).
• Resumen (Summarisation): Los cinco métodos se degradaron a un rendimiento cercano al azar (AUC-ROC entre 0.469 y 0.574). Aunque algunos métodos mostraron puntuaciones F1 altas (por ejemplo, F1 de BERTScore = 0.658), esto fue impulsado por una exhaustividad extrema (>0.99) con una precisión cercana al azar, etiquetando casi todo como alucinación. Los autores atribuyen esto a un fallo estructural: las alucinaciones en resúmenes suelen ser ediciones factuales sutiles dentro de resúmenes largos que, de otro modo, son fieles. Las métricas de solapamiento están dominadas por la parte fiel restante, y el truncamiento de la premisa de 800 caracteres del modelo NLI impide que acceda al contexto completo del documento.

Huella Computacional
Todos los experimentos se ejecutaron en un CPU de una computadora portátil estándar sin GPU.

• Rendimiento (Throughput): Los métodos léxicos y de embeddings son altamente eficientes (ROULE-L: ~1,300 candidatos/seg; Similitud/BERTScore: ~66 candidatos/seg).
• Cuello de Botella: El detector NLI (~184M de parámetros) es el más lento con ~4 candidatos/seg, calificando un conjunto de prueba de 2,000 instancias en aproximadamente ocho minutos. El ensemble no añade costo de modelo adicional más allá de los componentes de NLI y similitud.

Contribuciones Clave

1. Evaluación Sistemática: Una evaluación exhaustiva de cinco métodos factibles en CPU a través de tres tareas distintas de PLN, calibrada en datos de validación no incluidos en el entrenamiento.
2. Clasificación Dependiente de la Tarea: Demostración de que la efectividad del método varía significativamente según la tarea; el Ensemble es óptimo para QA, NLI para Diálogo, y ningún método ligero es viable para Resumen.
3. Identificación de un Fallo Sistemático: El artículo mapea la "frontera práctica" de la detección sin GPU, resaltando un límite estructural claro donde los métodos ligeros fallan en la tarea de resumen debido a la naturaleza de las alucinaciones y las restricciones de contexto.
4. Guía Práctica: Recomendaciones para la selección de métodos basadas en restricciones computacionales y tipo de tarea (por ejemplo, usar NLI para el ranking de diálogos, evitar métodos ligeros para resúmenes).

Significado y Reivindicaciones
El artículo afirma proporcionar una línea base de rendimiento realista para la gran comunidad que trabaja sin hardware especializado. Argumenta que comparar un único método costoso contra bases débiles oscurece las fortalezas específicas y los modos de fallo de los métodos accesibles.

Los autores concluyen que, si bien la detección sin GPU es viable y efectiva para QA y Diálogo, enfrenta un límite estructural en el Resumen. Este fallo no es un defecto de un algoritmo específico, sino una limitación del régimen ligero en sí mismo, que carece de la capacidad para la descomposición de afirmaciones o el modelado de contexto largo requerido para las tareas de resumen. El trabajo ofrece a los profesionales sin hardware especializado una base clara para seleccionar métodos y una comprensión realista de dónde tiene éxito la detección accesible y dónde falla.