Resumen Técnico: Mejora de los LLM mediante la Alineación de Validador-a-Generador (FLORA)

Declaración del Problema

Los Grandes Modelos de Lenguaje (LLM) exhiben una inconsistencia fundamental conocida como la brecha Generador-Validador (G-V). En este fenómeno, un LLM que actúa como generador puede producir una respuesta con una probabilidad alta, pero cuando se le vuelve a consultar para actuar como validador, considera que esa misma respuesta es incorrecta (o viceversa). Esta inconsistencia socava las aplicaciones que dependen de la autorrefinación, el retroceso (backtracking) y el modelado de recompensas.

Los intentos previos para cerrar esta brecha maximizando la correlación entre las puntuaciones del generador y del validador se han enfrentado a dos problemas críticos:

1. Sesgo de Frecuencia: Los generadores suelen asignar una baja probabilidad a cadenas válidas simplemente porque esas cadenas son, a priori, improbables (por ejemplo, sinónimos poco comunes o formatos específicos), no porque sean incorrectas. Las métricas de consistencia ingenuas no tienen en cuenta esto, penalizando respuestas válidas pero infrecuentes.
2. Incertidumbre Aleatoria: En tareas con múltiples respuestas correctas (por ejemplo, "Nombra un gas noble"), un validador debería puntuar alto todas las opciones correctas, pero un generador no puede asignar la misma probabilidad a todas las opciones válidas sin violar las leyes de la probabilidad sobre un vocabulario extenso.

Los métodos existentes que ignoran estos factores corren el riesgo de provocar comportaciones patológicas, como la supresión de respuestas correctas o la introducción de señales de entrenamiento contradictorias.

Metodología: FLORA

Los autores proponen el Aprendizaje de Alineación de Rango Ordenado Corregido por Frecuencia (FLORA, por sus siglas en inglés), un objetivo de entrenamiento diseñado para alinear los comportos del generador y del validador mientras se corrige la frecuencia de las expresiones.

1. Formulación Teórica

El artículo modela el LLM como un agente probabilístico racional que opera con un estado de creencia latente $v$ (un vector de etiquetas de validez para todas las respuestas posibles).

• Validador ($p_V$): Representa la creencia del modelo de que una respuesta $y$ es correcta dado un prompt $x$.
• Generador ($p_G$): Representa la probabilidad de generar $y$, la cual es una mezcla de la creencia del modelo sobre conjuntos válidos y una política para seleccionar formas superficiales entre las opciones válidas.

Los autores derivan una relación teórica (Teorema 1) entre el log-odds del validador y las probabilidades del generador. Demuestran que, para que la consistencia se mantenga, la puntuación del generador debe ajustarse mediante un factor relacionado con la frecuencia de la respuesta cuando es solicitada incorrectamente frente a cuando es solicitada correctamente.

Esto conduce a la definición de una puntuación de generador corregida por frecuencia ($s_{Adj}$):
$$s_{Adj}(y | x) = \log p_G(y | x) - \log p_G'(y | x)$$
Donde:

• $p_G(y | x)$ es la probabilidad de generación estándar.
• $p_G'(y | x)$ es la probabilidad de generar $y$ cuando se solicita explícitamente proporcionar una respuesta incorrecta (o un prompt de "anti-experto").

En la práctica, dado que $p_G'$ es difícil de provocar de manera fiable, los autores proponen dos aproximaciones empíricas:

1. NegFC: Utiliza un prompt negativo para provocar $p_G'$.
2. FC Incondicional (PMI): Utiliza la log-probabilidad incondicional de la secuencia de tokens como un proxy más económico para la frecuencia, asumiendo que la frecuencia de una cadena es independiente de su corrección.

2. Objetivo de Entrenamiento

FLORA utiliza una pérdida de preferencia por pares para alinear al generador con el ranking de respuestas del validador. La función de pérdida total combina:

• Pérdida de Preferencia ($L_{pref}$): Una pérdida logística que incentiva al generador a clasificar una respuesta preferida por el validador ($y^+$) por encima de una no preferida ($y^-$) basándose en la puntuación corregida por frecuencia $s_{Adj}$.
• Términos de Log-Verosimilitud Negativa (NLL): Términos supervisados estándar aplicados a ejemplos etiquetados para asegurar que el generador mantenga la corrección y el validador mantenga la calibración.

Los datos de entrenamiento consisten en pares de respuestas $(y_i, y_j)$ para el mismo prompt $x$, donde las puntuaciones del validador difieren significitivamente. El método opera en un entorno semi-supervisado, utilizando pares etiquetados donde se conoce la corrección real y pares no etiquetados donde solo se utiliza la preferencia relativa del validador.

Contribuciones Clave

1. Consistencia G-V Principializada: El artículo axiomatiza la consistencia G-V basada en un modelo de agente racional, demostrando que la correlación ingenua es insuficiente debido a los efectos de la frecuencia.
2. Corrección de Frecuencia: La derivación de una relación teórica que requiere restar la probabilidad de generación "incorrecta" (o un proxy de frecuencia) de la puntuación de generación estándar para lograr una verdadera consistencia.
3. Algoritmo FLORA: Un objetivo de entrenamiento concreto que implementa esta alineación corregida por frecuencia, lo que mejora la discriminabilidad del generador sin degradar el rendimiento del validador.

Resultados Experimentales

Los autores evaluaron FLORA en tres tareas: Seguimiento de Instrucciones (IFEval), Codificación (HumanEval) y Conocimiento Taxonómico (Hiponimia).

• Ganancias de Rendimiento: FLORA supera sustancialmente a los métodos de alineación previos (incluyendo SFT, Consistency FT y RankAlign).
  • Correlación Generador-Validador ($\rho$): Logró ganancias de hasta +27 puntos porcentuales (por ejemplo, en IFEval y HumanEval) respecto a las bases más fuertes anteriores.
  • Discriminabilidad del Generador (AUROC): Mejoró el AUROC del generador en hasta +7.3 puntos porcentuales.
• Eficacia de la Corrección de Frecuencia: Incluso en el tiempo de prueba (sin entrenamiento), aplicar la corrección de frecuencia (NegFC o PMI) mejoró significativamente la capacidad del generador bruto para distinguir entre respuestas correctas e incorrectas y aumentó la correlación con el validador.
• Preservación del Validador: Crucialmente, el entrenamiento de FLORA no degradó la calidad del validador. En varios entornos, la precisión y el AUROC del validador incluso mejoraron (por ejemplo, +14 a +17 pp en HumanEval), refutando las preocupaciones de que el entrenamiento de preferencia pueda causar un "desplazamiento de verosimilitud" donde el modelo parece alineado solo porque el validador se ha degradado.
• Alineación Cualitativa: El análisis visual mostró que el entrenamiento de FLORA resultó en una relación mucho más clara y estructurada entre las puntuaciones del generador y los log-odds del validador, separando efectivamente las completaciones correctas de las incorrectas en la cola de la distribución.

Significado y Reivindicaciones

El artículo afirma que FLORA proporciona una solución con principios a la brecha G-V al abordar la causa raíz de la inconsistencia: la confusión entre la frecuencia de la respuesta y la corrección de la respuesta.

• Rigor Teórico: A diferencia de otros enfoques heurísticos, FLORA se basa en una derivación teórica de cómo deben relacionarse las probabilidades del generador y el validador de un agente racional.
• Robustez: El método funciona en diversas tareas (generación de forma corta y larga) y familias de modelos (Gemma, Qwen).
• Utilidad Práctica: Al mejorar la capacidad del generador para clasificar respuestas correctas más alto (incluso las raras) mientras preserva el juicio del validador, FLORA permite procesos de autocorrección y refinamiento más fiables para los LLM.

Los autores mantienen la modestia respecto a las limitaciones, señalando que el término teórico $r(y,x)$ se asume cercano a 1 (una suposición difícil de validar directamente) y que el marco actual se centra en la corrección binaria en lugar de la corrección parcial. Además, la evaluación se centra en conjuntos fijos de salidas (colas de la distribución) en lugar de la única mejor salida de decodificación codiciosa (greedy decoding).