Resumen Técnico: BALTO – Optimización de Política Balanceada a Nivel de Token para la Mitigación de Alucinaciones

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) enfrentan desafíos significativos en entornos con alta densidad de conocimiento debido a las alucinaciones de fidelidad —la generación de contenido que carece de soporte fáctico o que contradice la evidencia proporcionada. Si bien el Aprendizaje por Refuerzo (RL) ofrece una vía prometedora para la mitigación, los enfoques actuales sufren de un desajuste de granularidad.

La mayoría de los métodos de RL existentes emplean recompensas a nivel de respuesta, asignando una única puntuación escalar a toda la salida. Esta supervisión de grano grueso no logra distinguir entre los fragmentos alucinados y el contenido fiel dentro de la misma respuesta. En consecuencia, un error localizado (por ejemplo, una fecha o entidad incorrecta) puede activar una penalización negativa uniforme en todos los tokens, suprimiendo erróneamente la información correcta e induciendo comportamientos de "hackeo de recompensa" (reward hacking) donde los modelos generan respuestas más cortas y excesivamente conservadoras para evitar penalizaciones.

Los enfoques recientes de grano fino (por ejemplo, recompensas a nivel de afirmación o de token) abordan la detección, pero a menudo no logran resolver el problema de la asignación de crédito. Las recompensas desequilibradas a nivel de token pueden introducir sesgos hacia la verbosidad o la longitud, mientras que los métodos vinculados a ventajas globales a nivel de respuesta heredan el ruido de la señal global. El problema central es la falta de un mecanismo que penalice precisamente los tokens alucinados mientras compensa los tokens fieles dentro de la misma respuesta, asegurando que el modelo redistribuya la masa de probabilidad hacia la veracidad en lugar de simplemente suprimir la generación.

2. Metodología: Marco de Trabajo BALTO

Los autores proponen BALTO (Balanced Token-Level Policy Optimization), un marco de aprendizaje por refuerzo diseñado para localizar alucinaciones y asignar crédito balanceado a nivel de token. El marco opera en dos etapas principales:

A. Detección de Tokens de Alucinación de Grano Fino

BALTO utiliza un evaluador de fidelidad basado en LLM para procesar las respuestas muestreadas:

1. Extracción de Afirmaciones: El sistema extrae afirmaciones fácticas verificables (por ejemplo, entidades, números, fechas, relaciones) de la respuesta.
2. Verificación: Cada afirmación se verifica contra el contexto de referencia (documentos recuperados). Las afirmaciones se particionan en conjuntos de Afirmaciones Fieles ($C^+$) y Alucinadas ($C^-$).
3. Proyección de Tokens:
   • Los tokens en afirmaciones fieles se etiquetan como Fieles ($F$).
   • Para las afirmaciones alucinadas, el sistema intenta localizar el subconjunto mínimo de tokens erróneos ($e_{i,m}$) responsable del error (por ejemplo, solo el número incorrecto "11.4%" en lugar de toda la oración). Si la aislación es imposible, se penaliza todo el fragmento de la afirmación. Estos tokens se etiquetan como Alucinados ($H$).
   • Los tokens fuera de las afirmaciones verificables o los tokens fieles dentro de una afirmación alucinada (donde no se puede aislar el error) se etiquetan como Neutrales ($N$).

B. Asignación de Crédito Balanceada a Nivel de Token

A diferencia del GRPO estándar que transmite una ventaja única a todos los tokens, BALTO asigna ventajas específicas ($A^{bal}_{i,t}$) basadas en las etiquetas de los tokens:

• Tokens Alucinados ($H$): Reciben una ventaja negativa de -1.
• Tokens Fieles ($F$): Reciben una ventaja compensatoria positiva de $N^-_i / N^+_i$, donde $N^-$ y $N^+$ son los conteos de tokens alucinados y fieles, respectivamente.
• Tokens Neutrales ($N$): Reciben 0 de ventaja.

Mecanismo Clave: Este diseño asegura una propiedad de suma cero intra-respuesta: $\sum A^{bal}_{i,t} = 0$. La señal negativa total de las alucinaciones se equilibra exactamente con la señal positiva del contenido fiel. Esto incentiva a la política a redistribuir la masa de probabilidad del contenido alucinado hacia el contenido fiel, en lugar de suprimir la respuesta completa.

C. Objetivo de Optimización

BALTO optimiza la política utilizando un objetivo recortado (clipped objective) similar a GRPO, pero restringido a los tokens fácticos ($H \cup F$). La función de objetivo maximiza la ventaja balanceada esperada, normalizando las actualizaciones por el número de tokens fácticos ($Z_i = \max(1, |H| + |F|)$).

3. Análisis Teórico

El artículo proporciona pruebas teóricas que demuestran la superioridad de BALTO sobre el GRPO a nivel de respuesta:

• Reducción de Varianza (Teorema 1): El GRPO a nivel de respuesta induce una varianza de gradiente que escala linealmente con la longitud total de la respuesta ($O(T)$). En contraste, BALTO restringe la variza para que escale solo con el número de tokens alucinados ($O(N^-)$). Dado que las alucinaciones son dispersas, esto reduce significativamente el ruido del gradiente y estabiliza el entrenamiento.
• Eficiencia de Optimización (Teorema 2):
  • Arranque en Frío (Cold Start, $p \to 0$): El GRPO a nivel de respuesta sufre de "inanición de gradiente" ya que el coeficiente de normalización desaparece cuando las respuestas fieles son raras. BALTO mantiene señales locales fuertes y acotadas ($O(1)$), asegurando una exploración eficiente en las etapas iniciales.
  • Convergencia ($p \to 1$): El GRPO a nivel de respuesta activa penalizaciones divergentes no acotadas ($A^- \to -\infty$) para errores poco frecuentes, desestabilizando la convergencia en la etapa final. BALTO mantiene ventajas estrictamente acotadas ($[-1, 1]$), asegurando una convergencia estable y gradual.

4. Resultados Experimentales

Los experimentos se realizaron en tres bancos de pruebas: ConFiQA (QA contrafactual), RAGTruth (corpus de alucinaciones RAG) y FinLLM-Eval (QA de dominio financiero). Los modelos utilizados incluyeron Qwen3-8B y Qwen3-4B.

Hallazgos Clave:

• Fidelidad: BALTO logró las puntuaciones de fidelidad más altas en los seis entornos de modelo-benchmark, superando a las líneas base de nivel de respuesta (GRPOD, GRPOB) y de nivel de token (FSPO).
• Puntuación Q (Q-Score): BALTO alcanzó consistentemente la Q-Score más alta (definida como Fidelidad $\times$ Informatividad), demostrando un compromiso superior entre corrección y retención de información.
  • Comparado con la línea base de post-entrenamiento más fuerte, BALTO mejoró la Q-Score en un promedio de 2.7 puntos (hasta 4.9) y la Fidelidad en 3.1 puntos (hasta 6.7).
• Dinámicas de Entrenamiento:
  • Normas de Gradiente: BALTO exhibió normas de gradiente un orden de magnitud más pequeñas y concentradas que los métodos a nivel de respuesta, confirmando la reducción de la varianza.
  • Actualizaciones de Parámetros: BALTO logró una alta fidelidad con significativamente menos actualizaciones de parámetros (~12% frente a ~17% para GRPOB), lo que indica un aprendizaje más eficiente enfocado en los parámetros relevantes.
• Estudios de Ablación: Eliminar la ventaja compensatoria positiva para los tokens fieles (estableciendo $PA=0$) resultó en caídas sustanciales tanto en la fidelidad como en la informatividad, validando la necesidad del mecanismo de crédito balanceado.

5. Significado y Reivindicaciones

El artículo afirma que BALTO aborda una brecha crítica en la mitigación de alucinaciones: la necesidad de una asignación de crédito balanceada y de grano fino.

• Precisión: Al localizar los errores en tokens específicos y balancear la señal de recompensa, BALTO evita la penalización de "todo o nada" del RL a nivel de respuesta, preservando la informatividad de la respuesta.
• Estabilidad: La evidencia teórica y empírica sugiere que la asignación balanceada a nivel de token conduce a trayectorias de entrenamiento más estables y una mayor eficiencia de optimización, particularmente en las etapas iniciales del entrenamiento y durante la convergencia.
• Compromiso (Trade-off): Los resultados demuestran que es posible reducir significativamente las alucinaciones sin colapsar en una generación excesivamente conservadora o verbosa, logizando un compromiso entre fidelidad e informatividad más fuerte que los enfoques de post-entrenamiento previos.

Los autores señalan limitaciones, principalmente que el método depende de un evaluador externo basado en LLM para la extracción y verificación de afirmaciones, lo que significa que su rendimiento está limitado por la precisión del evaluador. Además, el marco está diseñado para entornos fundamentados en recuperación donde existen documentos de referencia.