No One Size Fits All: QueryBandits for Hallucination Mitigation

Aquí presento un resumen técnico detallado del artículo "NO ONE SIZE FITS ALL: QUERYBANDITS FOR LLM HALLUCINATION MITIGATION", publicado en ICLR 2026.

1. El Problema: Alucinaciones en Modelos de Caja Negra

A medida que los Modelos de Lenguaje Grande (LLM) mejoran sus capacidades de razonamiento, la frecuencia y severidad de las alucinaciones (generación de información factualmente incorrecta) también aumentan.

• Brecha de investigación: La mayoría de los trabajos de mitigación se centran en modelos de código abierto (cuyos pesos son accesibles), utilizando técnicas como la edición de representaciones internas o la manipulación de logits. Sin embargo, la gran mayoría de las implementaciones institucionales utilizan modelos cerrados (como GPT-4o), donde el acceso a los pesos internos es imposible.
• Limitación de las soluciones actuales: Las estrategias de "talla única" (one-size-fits-all), como reescribir siempre la consulta de la misma manera (ej. siempre parafrasear o siempre expandir), son ineficaces. Pequeñas perturbaciones en la forma superficial de una entrada pueden inducir grandes diferencias en la salida, lo que requiere una política de aprendizaje adaptativa en línea.

2. Metodología: QueryBandits

Los autores proponen QueryBandits, un marco de aprendizaje basado en bandidos contextuales (contextual bandits) que es agnóstico al modelo y opera exclusivamente en la capa de entrada.

A. Formulación del Problema

El sistema trata la selección de la estrategia de reescritura de la consulta como un problema de bandido contextual:

• Contexto ($x_t$): Un vector de características lingüísticas de 17 dimensiones extraído de la consulta original. Estas características capturan propiedades que afectan la comprensión (ej. ambigüedad, subordinación, rareza léxica, presuposiciones).
• Brazos ($A$): Cinco estrategias de reescritura distintas:
  1. PARAPHRASE: Introducir diversidad léxica manteniendo el significado.
  2. SIMPLIFY: Eliminar cláusulas anidadas y sintaxis compleja.
  3. DISAMBIGUATE: Resolver referencias vagas (pronombres, expresiones temporales).
  4. EXPAND: Añadir entidades y atributos salientes para enriquecer el contexto.
  5. CLARIFY TERMS: Definir jerga o términos técnicos.
• Recompensa ($r_t$): Una función compuesta para medir la factibilidad de la respuesta generada:
  $$r_t = \alpha s_{llm} + \beta s_{fuzz} + \gamma s_{bleu}$$
  Donde:
  • $s_{llm}$: Etiqueta binaria de corrección de un juez LLM (GPT-4o).
  • $s_{fuzz}$: Similitud difusa de cadenas (RapidFuzz).
  • $s_{bleu}$: Puntuación BLEU-1 (superposición léxica).
  • Pesos óptimos: Se determinó mediante análisis de frontera de Pareto que los pesos $(\alpha, \beta, \gamma) = (0.6, 0.3, 0.1)$ ofrecen el mejor equilibrio, logrando un ROC-AUC de 0.973 para distinguir respuestas correctas de incorrectas.

B. Algoritmos de Aprendizaje

El marco evalúa múltiples algoritmos de bandidos, destacando:

• Contextual: Thompson Sampling (TS), LinUCB, LinUCB+KL, FTRL. Estos utilizan el vector de características para aprender qué estrategia funciona mejor para un tipo específico de consulta.
• No Contextual: EXP3, FTPL, Thompson Sampling sin contexto. Estos no utilizan las características lingüísticas y aprenden promedios globales.
• Línea Base: Consultas sin reescribir (NO-REWRITE) y estrategias estáticas (siempre usar PARAPHRASE, siempre EXPAND, etc.).

3. Contribuciones Clave

1. Modelado de Recompensa para Factibilidad: Introducción de una función de recompensa híbrida y calibrada empíricamente que combina juicio de LLM, similitud difusa y métricas léxicas, validada como un proxy robusto para la corrección factual.
2. Adaptación Contextual Superior: Demostración de que no existe una política de reescritura universalmente óptima. La efectividad de una estrategia (ej. EXPAND) depende intrínsecamente de las características semánticas de la consulta (ej. si requiere conocimiento de dominio).
3. Política de Aprendizaje en Línea para Modelos Cerrados: QueryBandits permite mitigar alucinaciones en modelos de caja negra sin necesidad de reentrenamiento, ajuste de gradientes o acceso a los pesos internos, operando puramente mediante mecanismos de paso hacia adelante (forward-pass).
4. Análisis de Características Lingüísticas: Es el primer trabajo que utiliza un vector lingüístico holístico de 17 características como contexto para la selección de brazos en un bandido, revelando correlaciones específicas entre características (como "Especialización de Dominio") y estrategias óptimas (como "EXPAND").

4. Resultados Experimentales

Los experimentos se realizaron en 13 benchmarks de preguntas y respuestas (QA) (16 escenarios) utilizando GPT-4o en condiciones de caja negra.

• Rendimiento General: El mejor algoritmo, Contextual Thompson Sampling, logró una tasa de victoria del 87.5% frente a la línea base de "No Reescribir".
• Comparación con Políticas Estáticas:
  • Superó a la política estática de PARAPHRASE en un 42.6%.
  • Superó a la política estática de EXPAND en un 60.3%.
  • Curiosamente, ciertas políticas estáticas (como EXPAND en algunos casos) incurrieron en una mayor regret acumulada que no reescribir, indicando que una política rígida puede empeorar las alucinaciones.
• Contextual vs. No Contextual: Todos los bandidos contextuales superaron a sus contrapartes no contextuales. La eliminación del vector de características redujo la tasa de victoria de TS del 87.5% al 81.7%.
• Precisión: La precisión macro-promedio aumentó de 0.681 (No Reescribir) a 0.766 (Contextual TS), una mejora de 8.5 puntos porcentuales.
• Eficiencia: QueryBandits elevó el rendimiento de GPT-4o en TruthfulQA de 81.4% a 88.8% (MC1), superando a métodos de modelos abiertos como DoLa o TruthX que, al aplicarse en modelos más débiles, no alcanzan el rendimiento base de los modelos cerrados fuertes.

5. Significado e Impacto

• Cambio de Paradigma: El trabajo demuestra que la mitigación de alucinaciones no requiere intervención en el modelo interno, sino una adaptación inteligente de la entrada.
• Aplicabilidad Industrial: Al ser agnóstico al modelo y no requerir acceso a los pesos, es la solución viable para entornos corporativos que dependen de APIs de modelos cerrados (como GPT-4, Claude, etc.).
• Conclusión Fundamental: "No hay una talla única". La estrategia óptima de reescritura es dinámica y depende del "huella digital" lingüística de cada consulta individual. Ignorar esta variabilidad conduce a un rendimiento subóptimo.

En resumen, QueryBandits establece un nuevo estándar para la mitigación de alucinaciones en modelos de lenguaje de alto rendimiento, demostrando que el aprendizaje en línea basado en características contextuales es significativamente más efectivo que las heurísticas estáticas o la falta de intervención.