Resumen Técnico: AdaJudge

Declaración del Problema

El modelado de recompensas es crítico para alinear los Modelos de Lenguaje Extensos (LLMs) con las preferencias humanas, pero las arquitecturas actuales enfrentan dos limitaciones estructurales fundamentales:

1. Sesgo Inductivo Estático: Los modelos de recompensa predominantes dependen de estrategias de agrupación (pooling) fijas (por ejemplo, pooling del último token o de la media) para condensar las representaciones de la secuencia en puntuaciones escalares. Esto crea un desajuste con la naturaleza dependiente de la tarea de las señales de preferencia. Por ejemplo, las tareas de razonamiento suelen requerir señales terminales localizadas (favoreciendo el pooling del último token), mientras que las tareas de seguridad o coherencia requieren evidencia holística y distribuida (favoreciendo el pooling de la media). Una estrategia estática única impone un compromiso, fallando a menudo en capturar la distribución espacial de la evidencia requerida para dominios específicos.
2. Desajuste Representacional: Los LLMs de base están optimizados para la predicción del siguiente token (tareas generativas), mientras que el modelado de recompensas requiere una discriminación de pares finamente detallada. En consecuencia, los estados ocultos brutos del modelo de base pueden carecer de las características necesarias para distinguir matices sutiles de preferencia, como inconsistencias lógicas o violaciones menores de restricciones, sin una adaptación adicional.

Las soluciones existentes suelen depender del escalado de datos o del tamaño del modelo, o utilizan conjuntos costosos computacionalmente de múltiples modelos para lograr la adaptabilidad, dejando sin abordar la rigidez arquitectónica fundamental de las cabezales de recompensa de un solo modelo.

Metodología: AdaJudge

Los autores proponen AdaJudge (Juicio Adaptativo Multiperspectiva), un marco unificado de dos etapas diseñado para adaptar conjuntamente la representación y la agregación sin requerir supervisión a nivel de token o de proceso.

Etapa I: Refinamiento de la Representación Adaptativa

Para abordar el desajuste representacional, AdaJudge introduce un módulo de refinamiento iterativo ligero aplicado después del LLM de base.

• Mecanismo: El módulo consiste en $K$ bloques de transformadores secuenciales.
• Gating de Profundidad (Depth-Gating): Un vector de contexto de secuencia global (derivado mediante el pooling de la media de las características de la base) se pasa a través de una red de compuerta para producir coeficientes de mezcla $\alpha$.
• Refinamiento: La representación refinada final $\tilde{H}$ es una combinación convexa de todos los estados ocultos intermedios ($H^{(1)}$ a $H^{(K)}$). Esto permite al modelo enfatizar dinámicamente señales superficiales o acumular trazas de razonamiento más profundas dependiendo de la complejidad de la muestra de entrada.

Etapa II: Agregación Multiperspectiva

Para abordar el sesgo inductivo estático, AdaJudge reemplaza la lectura fija con una cabezal de Mezcla de Pooling con Compuerta Consciente del Dominio.

• Expertos en Paralelo: La representación refinada $\tilde{H}$ es procesada a través de tres expertos de pooling en paralelo:
  1. Pooling del Último Token ($z_L$): Captura señales sensibles a la conclusión.
  2. Pooling de la Media ($z_M$): Captura atributos globales de estilo y coherencia.
  3. Pooling de Atención ($z_A$): Detecta anomalías dispersas en cualquier parte de la secuencia.
• Enrutamiento Condicionado por el Prompt: Una representación de prompt separada ($z_P$) se deriva mediante el pooling de la media de los tokens del prompt. Una red de enrutamiento toma el vector concatenado $[z_L; z_M; z_A; z_P]$ y genera pesos de mezcla $\pi$ mediante softmax.
• Puntuación Dinámica: La puntuación de recompensa final $r(x, y)$ es una mezcla con compuerta de las puntuaciones de las tres perspectivas ($s_L, s_M, s_A$), ponderadas por $\pi$. Esto permite al modelo seleccionar adaptativamente la estrategia de agregación que mejor se alinee con la distribución espacial de la evidencia requerida por el prompt específico.

Optimización

El modelo se entrena utilizando un objetivo de Bradley–Terry focal. La función de pérdida incluye un término focal para enfatizar las muestras difíciles y un término de regularización de entropía para evitar que la distribución de enrutamiento colapse en una sola perspectiva, asegurando que el modelo mantenga un conjunto diverso de estrategias de agregación.

Contribuciones Clave

1. Identificación de Desajustes Estructurales: El artículo identifica formalmente que los backbones enfocados en la generación carecen de características de discriminación finas y que el pooling fijo falla en capturar la naturaleza multigranular de la evidencia de preferencia.
2. Marco Unificado: La introducción de AdaJudge, que adapta conjuntamente el refinamiento de la representación (vía bloques con gating de profundidad) y la agregación de evidencia (vía enrutamiento consciente del dominio) sin supervisión externa.
3. Superioridad Empírica: Demostró un rendimiento superior consistente sobre modelos de recompensa estándar y líneas de base controladas (mismo backbone, diferentes cabezales) a través de diversos dominios y escalas de modelos.

Resultados Experimentales

Los experimentos se realizaron en RM-Bench y JudgeBench, utilizando los modelos base Phi-3.5-mini-instruct, Qwen3-4B y Qwen3-8B entrenados en el conjunto de datos HelpSteer3.

• Ganancias de Rendimiento: AdaJudge superó significativamente a las líneas de base tradicionales de pooling. Notablemente, un modelo Qwen3-8B equipado con AdaJudge (71.1 general en RM-Bench) superó a un modelo mucho más grande de 27 mil millones de parámetros, Skywork-Reward-Gemma-2 (70.5), demostrando alta eficiencia de parámetros.
• Resolución de Compromisos: Las líneas de base estáticas exhibieron perfiles de rendimiento conflictivos (por ejemplo, el pooling del último token excelled en seguridad pero falló en matemáticas; el pooling de la media hizo lo opuesto). AdaJudge logró una "mejora de Pareto", maximizando simultáneamente el rendimiento en Matemáticas (80.4), Seguridad (87.5) y robustez en subconjuntos difíciles (43.0).
• Estudios de Ablación:
  • Eliminar la etapa de refinamiento resultó en caídas significativas en tareas intensivas de razonamiento (Matemáticas y Código), confirmando la necesidad de adaptar el espacio de representación.
  • Las líneas de base de visión única estática (Último Token, Media, Atención) fueron consistentemente inferiores a la mezcla adaptativa, particularmente en los subconjuntos "Hard" de los benchmarks.
• Análisis del Mecanismo Interno:
  • Alineación: El refinamiento iterativo aumentó la alineación de coseno entre la dirección de la puntuación y la verdadera diferencia de preferencia, particularmente para las visiones de media y atención.
  • Comportamiento de Enrutamiento: El mecanismo de compuerta aprendió patrones de agregación distintos por dominio (por ejemplo, mayor peso en el pooling de Atención para Código/Matemáticas, y pooling de la Media para Seguridad), validando la capacidad del modelo para adaptarse a las distribuciones de evidencia específicas del dominio.

Significancia

El artículo argumenta que la rigidez de las estrategias de agregación fija es un cuello de botella primario en el modelado de recompensas. Al desacoplar el refinamiento de la representación de la agregación de evidencia, AdaJudge demuestra que las arquitecturas dinámicas y adaptables a la instancia pueden superar las limitaciones de los sesgos inductivos estáticos. El trabajo sugiere que el modelado de recompensas futuro debe ir más allá del simple escalado de datos o del tamaño del modelo, centrándose en la flexibilidad arquitectónica que alinee las representaciones internas y las estrategias de agregación con las demandas lógicas y espaciales específicas de la tarea de evaluación.

Limitaciones

Los autores reconocen varias limitaciones:

• Escalabilidad: La validación está actualmente limitada a modelos de hasta 8B de parámetros; la eficacia en modelos de escala extrema (70B+) sigue sin explorarse.
• Latencia: Aunque es ligero, el refinamiento iterativo y la red de enrutamiento introducen parámetros adicionales y latencia de inferencia en comparación con las líneas de base estándar de pooling fijo.
• Biblioteca de Expertos: La implementación actual utiliza un conjunto fijo de tres expertos de pooling. El marco es extensible, pero el conjunto óptimo de expertos y el potencial para el descubrimiento automático de expertos son preguntas abiertas.
• Modalidad: La evaluación se limita actualmente al modelado de preferencias de solo texto, con potencial de extensión a entradas multimodales.