Resumen Técnico: Adaptación de Caja Negra Frustrantemente Simple de Modelos de Lenguaje mediante Sesgo de Logit

Declaración del Problema

Las organizaciones necesitan frecuentemente adaptar modelos de lenguaje (LM) de frontera para tareas internas específicas, tales como mejorar la precisión en un dominio, imponer un formato de salida estricto o reducir la verbosidad. Sin embargo, las técnicas de adaptación estándar como el ajuste fino (fine-tuning), el Ajuste Fino de Parámetros Eficientes (PEFT) o el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) suelen ser inviables. Estos métodos requieren típicamente acceso a los pesos del modelo, gradientes o estados ocultos, los cuales no están disponibles cuando los modelos se despliegan únicamente a través de APIs de inferencia. Las alternativas de caja negra existentes, como la optimización de prompts, consumen longitud de contexto y pueden interferir con el contenido de la tarea.

Este artículo aborda el desafío de adaptar modelos de lenguaje congelados bajo restricciones de acceso mínimas: el desplegador no puede modificar los pesos, no puede realizar retropropagación y debe depender únicamente de controles de decodificación expuestos por la API. Específicamente, los autores investigan si un único vector de sesgo de logit independiente del contexto puede servir como una primitiva de adaptación ligera.

Metodología

Mecanismo Central

El método propuesto introduce un vector de sesgo de logit fijo $\delta \in \mathbb{R}^{|\mathcal{V}|}$ (donde $\mathcal{V}$ es el vocabulario) que se añade a los logits del modelo en cada paso de decodificación.

• Modelo Congelado: Los pesos del modelo base permanecen completamente inalterados.
• Independencia del Contexto: A diferencia de los prompts o el prefix-tuning, $\delta$ no varía en función del prompt de entrada o del prefijo generado.
• Aprendizaje de Caja Negra: El vector $\delta$ se aprende utilizando únicamente trayectorias (rollouts), recompensas y probabilidades de tokens del modelo base, sin acceso a gradientes internos.

Fundamento Teórico

El enfoque se basa en un objetivo de Aprendizaje por Refuerzo (RL) regularizado por KL. El óptimo no restringido para maximizar la recompensa $r$ manteniéndose cerca de la política base $p_0$ (regularizada por $\tau$) es una política dependiente del prefijo $p^\star_\tau$.

• La corrección de logit óptima en cualquier paso $t$ es teóricamente $\log Z(x, y_{1:t-1}, \cdot)$, donde $Z$ es un "valor suave" que representa la recompensa exponentenciada esperada.
• Los autores postulan que, si esta corrección óptima puede aproximarse mediante la factorización en un componente específico del token $\delta(y)$ y una línea base dependiente del prefijo $c_t(x, y_{1:t-1})$, un único vector fijo $\delta$ puede aproximar la política óptima.
• Derivan una cota de brecha de recompensa (reward-gap bound) que muestra que la pérdida de rendimiento al usar un sesgo fijo frente a la política óptima dependiente del prefijo depende del error de aproximación $\varepsilon$ y el horizonte $T$.

Algoritmo de Estimación

Para aprender $\delta$ sin gradientes, los autores proponen un estimador de Puntuación de Propensión Inversa (IPS) de forma cerrada:

1. Trayectorias On-Policy: Generar trayectorias $y_{1:T} \sim p_0(\cdot|x)$ a partir del modelo base.
2. Muestreo de Intervención: Para cada trayectoria, muestrear pasos de tiempo aleatorios $t$ y tratar el token $y_t$ como una intervención (fijándolo mientras el resto de la trayectoria se muestrea desde el modelo base).
3. Estimador: El sesgo a nivel de población $\delta(y)$ se estima como el logaritmo de la recompensa exponentenciada promedio para las trayectorias donde aparece el token $y$, ponderado por la probabilidad inversa de ese token bajo el modelo base:
   $$\hat{Z}(y) = \frac{1}{NP} \sum_{(x, y_{1:T}, t, r) \in \mathcal{D}} \frac{\mathbb{1}\{y_t = y\} \exp(r/\tau)}{\pi_0(y | x, y_{1:t-1})}$$
4. Suavizado: El sesgo de logit final se calcula como $\hat{\delta}(y) = \log(\alpha + \hat{Z}(y)) - c(\alpha)$, donde $\alpha$ es una constante de suavizado para manejar datos dispersos y prevenir errores de logaritmo de cero.

Contribuciones Clave

1. Entorno de Adaptación de Caja Negra: El artículo formaliza un entorno para personalizar LMs congelados utilizando únicamente un único vector de sesgo de logit independiente del contexto, que no requiere actualizaciones de pesos ni acceso a gradientes.
2. Análisis Teórico: Derivan un estimador IPS de forma cerrada que conecta la dirección por sesgo de logit con el óptimo regularizado por KL y proporcionan una cota teórica sobre la brecha de recompensa entre la política de sesgo fijo y el óptimo no restringido.
3. Validación Empírica: Se demuestra que el método mejora los modelos base en pruebas de matemáticas y razonamiento, y controla eficazmente la longitud de la completación, utilizando significativamente menos parámetros entrenables y cómputo que el ajuste fino convencional.

Resultados Experimentales

Configuración

• Modelos: Meta-Llama-3.1-8B-Instruct, Gemma-2-9B-IT, y Qwen3-4B.
• Tareas: MATH, GSM8K, y GPQA-main (precisión); y un objetivo de compresión (reducción del conteo de tokens).
• Líneas Base: Modelo base, una línea base de sesgo de logit vinculado de 32 clústeres, y LoRA-GRPO (una línea base de ajuste fino con $\sim 10^7$ parámetros).

Rendimiento de Precisión

• Sesgo de Logit de Vocabulario Completo: Logró ganancias consistentes y pequeñas sobre el modelo base en todos los benchmarks (ej., MATH: $30.30\% \to 33.14\%$; GPQA: $22.20\% \to 28.90\%$).
• Comparación: La línea base de 32 clústeres se comportó de manera similar al modelo base, lo que sugiere que la señal es específica del token en lugar de un cambio de frecuencia grueso. LoRA-GRPO superó significativamente al sesgo de logit (ej., MATH: $45.24\%$), confirmando que la adaptación en el espacio de pesos captura mejor el razonamiento dependiente del contexto que un sesgo fijo.

Rendimiento de Compresión

• El método redujo con éxito las longitudes de completación para Gemma-9B y Llama-8B preservando la precisión, trazando una frontera de Pareto entre precisión y longitud.
• Qwen3-4B mostró un cambio mínimo en la longitud.
• LoRA-GRPO logró una compresión mucho más agresiva al alterar el razonamiento interno y los comportamientos de parada, mientras que el sesgo de logit aprendió principalmente patrones de finalización y parada reutilizables.

Análisis de los Sesgos Aprendidos

• Dispersión: Solo una pequeña fracción de las coordenadas del vocabulario (aprox. 1.3%) excedió la puerta de tamaño de efecto.
• Estructura:
  • Sesgo de Precisión: Promovió tokens relacionados con límites de respuesta, formato matemático y cadenas de parada decisivas. Suprimió tokens de "deriva" como reestatizaciones de preguntas o modos de tutorial.
  • Sesgo de Compresión: Promovió tokens de parada/límite mientras suprimía tokens de explicación y derivación, aunque esto conllevó el riesgo de sobrecompresión.

Significancia y Reivindicaciones

El artículo afirma que el sesgo de logit aprendido sirve como una primitiva de adaptación de caja negra y ligera, situada entre la ingeniería de prompts y el ajuste fino completo.

• Utilidad: Ofrece una solución práctica para organizaciones con acceso únicamente vía API a los modelos, permitiendo mejoras en el formato, el control de la verbosidad y ganancias modestas de precisión sin la carga operativa de entrenar.
• Limitaciones: Los autores son modestos sobre las capacidades del método, reconociendo que un sesgo fijo no puede reescribir el razonamiento, codificar reglas condicionales o corregir errores específicos del contexto. Es efectivo para patrones "reutilizables" (formato, parada), pero falla donde se requiere un razonamiento dependiente del contexto.
• Conclusión: Si bien no es un reemplazo para el ajuste fino cuando los pesos son accesibles, el sesgo de logit aprendido es un mecanismo viable y de bajo costo para adaptar modelos de lenguaje bajo estrictas restricciones de acceso.