Reward Model Interpretability via Optimal and Pessimal Tokens

Resumen Técnico: Interpretabilidad de los Modelos de Recompensa mediante Tokens Óptimos y Pésimos

Planteamiento del Problema
Los modelos de recompensa (RM, por sus siglas en inglés) son fundamentales para la alineación de los Grandes Modelos de Lenguaje (LLM) con los valores humanos, sirviendo como el mecanismo principal para convertir pares de instrucción-respuesta en recompensas escalares durante el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF). A pesar de su papel crítico como el "punto de contacto entre el valor humano y la realidad", los propios modelos de recompensa permanecen poco explorados. A menudo se tratan como intermediarios desechables, pero representan la codificación más directa de los juicios de valor humanos en los sistemas de IA. La literatura actual carece de una comprensión exhaustiva de la consistencia, la fidelidad y las propiedades internas de estos modelos, particularmente en lo que respecta a cómo codifican valores complejos y dependientes del contexto, y si diferentes modelos entrenados con objetivos similares son intercambiables.

Metodología
Los autores proponen un enfoque novedoso para la interpretabilidad de los modelos de recompensa a través de un análisis exhaustivo de las respuestas de los modelos en todo su espacio de vocabulario. El estudio se centra en diez modelos de recompensa de código abierto recientes de diversas cantidades de parámetros (de 2B a 27B) y arquitecturas, seleccionados del tablero de clasificación RewaRdBench.

La metodología central consiste en:

1. Búsqueda Exhaustiva de Token Único: Los investigadores construyeron un prompt ("¿Qué es, en una sola palabra, lo más grande que existe?") y computaron la puntuación de recompensa escalar para cada posible token único en el vocabulario de cada modelo (que oscila entre ~128,000 y ~256,000 tokens). Esto permitió un ranking completo de tokens "óptimos" (puntuación más alta) y "pésimos" (puntuación más baja).
2. Análisis Cuantitativo: El estudio analizó las propiedades estadísticas de estas distribuciones de recompensa, incluyendo la asimetría, la varianza y las correlaciones ordinales (Tau de Kendall) entre modelos. Emplearon el Escalamiento Multidimensional (MDS) y el Análisis de Similitud de Representación (RSA) para determinar cómo factores como el modelo base, el desarrollador, la cantidad de parámetros y la clasificación en el tablero influyen en la similitud del modelo.
3. Encuadre y Análisis de Sentimiento: Los autores probaron los modelos con prompts de encuadre positivo ("la mejor cosa de la historia") y de encadre negativo ("la peor cosa de la historia") para investigar la sensibilidad a la valencia del sentimiento y los efectos de encuadre. También controlaron la frecuencia de las palabras para probar un "efecto de mera exposición".
4. Validación Externa: Para evaluar la fidelidad a los valores humanos, los autores compararon las clasificaciones de los modelos con un conjunto de datos de verdad de referencia independiente, EloEveRything, que agrega preferencias humanas pareadas sobre entidades derivadas de Wikipedia.
5. Optimización de Multi-Tokens: Utilizando la optimización de Gradiente de Coordenadas Codiciosas (GCG), los autores extendieron la búsqueda a secuencias de multi-tokens (2 a 5 tokens) para identificar respuestas óptimas y pésimas más allá de los tokens únicos.

Contribuciones Clave

• Análisis Exhaustivo del Vocabulario: El artículo pionera en un ranking completo de puntuaciones de recompensa para todos los tokens en el vocabulario de diez diversos modelos de recompensa, revelando características granulares de su codificación de valores.
• Asimetrías Sistemáticas: Los autores demuestran que las distribuciones de recompensa exhiben una asimetría positiva y asimetrías sistemáticas en la sensibilidad. Los modelos son más sensibles a las distinciones entre tokens de alto puntaje (sentimiento positivo) que a los de bajo puntaje.
• Efectos de Encuadre: El estudio establece que los modelos de recompensa reflejan los sesgos cognitivos humanos respecto al encuadre; la sensibilidad al sentimiento del token cambia según el encuadre del prompt: los modelos son más sensibles al sentimiento positivo en encuadres positivos y al sentimiento negativo en encuadres negativos.
• Sesgo de Frecuencia: La investigación identifica un "efecto de mera exposición", donde las palabras más frecuentes en el idioma inglés reciben puntuaciones de recompensa más altas, lo que sugiere una filtración desde los modelos base preentrenados hacia la señal de recompensa.
• Heterogeneidad y Sesgo: El trabajo revela una heterogeneidad significativa entre modelos entrenados con objetivos similares, invalidando la suposición de su fungibilidad. También descubre una devaluación sistemática de las referencias a grupos de identidad (por ejemplo, "personas negras", "judíos", "homosexuales") y contenido sexual, incluso en respuesta a prompts positivos.

Resultos

• Heterogeneidad de los Modelos: Existe una diversidad sustancial en la clasificación de tokens entre los modelos, incluso entre aquellos del mismo desarrollador o con arquitecturas similares. Las correlaciones Tau de Kendall entre los modelos oscilan entre 0.22 y 0.39 cuando se comparan con las clasificaciones humanas, y 0.55 entre los modelos mismos.
• Influencia del Modelo Base: El RSA indica que la elección del modelo base y la clasificación del modelo en RewaRdBench son los principales impulsores de la similitud en las clasificaciones de tokens, lo que sugiere que los RM heredan sesgos idiosincrásicos de sus fundamentos preentrenados.
• Sensibilidad al Encuadre: Al ser consultados con "la peor cosa de la historia", los modelos se volvieron más sensibles a los tokens de sentimiento negativo, revirtiendo el sesgo observado en los prompts positivos. Esto sugiere que los RM no tratan "mejor" y "peor" como simples inversos, sino que operan en un espacio de mayor dimensionalidad.
• Devaluación de Grupos de Identidad: En la comparación con EloEveRything, los modelos de recompensa devaluaron sistemáticamente conceptos relacionados con la naturaleza, la tecnología y grupos de identidad específicos en comparación con los evaluadores humanos. Por ejemplo, "personas negras" fue clasificado significativamente más bajo por los modelos que por los humanos, y términos como "violación" e "Hitler" aparecieron como tokens pésimos, mientras que los insultos de identidad también fueron fuertemente penalizados.
• Hallazgos de Multi-Tokens: La optimización GCG confirmó que los artefactos de programación y el código mal formado reciben puntuaciones bajas, mientras que las respuestas subjetivas y no comprometidas suelen obtener puntuaciones altas. Notablemente, los términos de grupos de identidad como "judíos" surgieron como tokens pésimos tanto para los prompts de "lo más grande" como para los de "lo peor", reforzando el efecto de borrado lingüístico.

Significancia y Reivindicaciones
El artículo argumenta que los modelos de recompensa no son meramente proxies neutrales para la preferencia humana, sino artefactos complejos que codifican sesgos específicos y, a veces, preocupantes. Los autores afirman que:

1. La Intercambiabilidad es un Mito: Los modelos de recompensa entrenados con objetivos similares no son intercambiables; exhiben una heterogeneidad significativa que puede conducir a comportamientos distintos en los LLM ajustados.
2. Consecuencias No Deseadas de la Inofensividad: La devaluación sistemática de los grupos de identidad y el contenido sexual parece ser una consecuencia no deseada de los objetivos de entrenamiento de "inofensividad" (harmlessness), lo que potencialmente conduce al borrado lingüístico en lugar de a un compromiso seguro.
3. Riesgos de Encuadre: La sensibilidad al encuadre sugiere que las prácticas actuales de RLHF (que típicamente piden a los evaluadores elegir la respuesta "mejor") pueden sesgar inadvertidamente el rango dinámico del modelo de recompensa, lo que podría socavar el objetivo de alejar a los modelos de salidas dañinas en contextos negativos.
4. Necesidad de Proxies Robustos: Los hallazgos desafían la idoneidad de los modelos de recompensa actuales como proxies para los valores humanos complejos y resaltan la necesidad de una codificación de valores más robusta, transparente y cuidadosamente curada para evitar la propagación de sesgos en los LLM ampliamente desplegados.

Los autores concluyen que, si bien los modelos de recompensa son herramientas esenciales para la alineación, requieren un análisis de interpretabilidad riguroso para asegurar que representen fielmente los valores humanos sin introducir nuevas distorsiones sistemáticas.