🤖 AI

Beyond Routing Weights: Faithful Response-Level Interpretation of Mixture-of-Experts Reward Models via Contribution Contrast

Este artículo presenta Contribution-Contrast (CoCo), un nuevo método de interpretación a nivel de respuesta para modelos de recompensa de Mezcla de Expertos que supera las limitaciones del análisis basado en pesos de enrutamiento mediante la identificación de los roles de los expertos a través de pares de respuestas elegidas-rechazadas con los mayores contrastes de contribución, entregando así interpretaciones más fieles y especializadas mientras mantiene una precisión competitiva.

Autores originales: Yifan Wang, Jinyi Mu, Mayank Jobanputra, Yu Wang, Soyoung Oh, Isabel Valera, Vera Demberg

Publicado 2026-08-10

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yifan Wang, Jinyi Mu, Mayank Jobanputra, Yu Wang, Soyoung Oh, Isabel Valera, Vera Demberg

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a ser útil, amable e inteligente. No puedes simplemente programarlo con un libro de reglas rígido porque las preferencias humanas son desordenadas y complicadas. En su lugar, le muestras al robot miles de ejemplos de respuestas "buenas" frente a respuestas "malas", dejando que aprenda lo que a los humanos les gusta. Este es el mundo del Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF, por sus siglas en inglés), una técnica que ayuda a que los gigantescos chatbots de IA se alineen con nuestros valores. Para hacer esto, la IA utiliza un "Modelo de Recompensa", que actúa como un profesor estricto calificando la tarea del robot. Pero aquí está la parte difícil: a veces este profesor es una "caja negra". Sabemos que otorga una puntuación alta a una buena respuesta, pero no sabemos por qué decidió eso. ¿Es porque la respuesta fue divertida? ¿Porque fue educada? ¿O porque siguió un formato específico?

Para resolver esto, investigadores intentaron recientemente construir un modelo de recompensa de "Mezcla de Expertos" (MoE, por sus siglas en inglés). Piensa en esto no como un único y gigante profesor, sino como un aula de 20 diferentes especialistas. Cuando llega una pregunta, un "enrutador" (como un director de escuela) observa la pregunta y decide qué especialista debe calificarla. Tal vez un experto es excelente en matemáticas, otro en escritura creativa y un tercero en dar consejos legales. El objetivo era hacer que estos expertos fueran fáciles de entender observando qué preguntas recibían. Pero, como sugiere el artículo que estamos por explorar, saber simplemente quién recibió la pregunta no te dice cómo calificó la respuesta.

Este artículo, titulado "Más allá de los pesos de enrutamiento" (Beyond Routing Weights), introduce una nueva forma de echar un vistazo a la mente de estos especialistas de IA. Los autores, un equipo de la Universidad de Saarland y otras instituciones, argumentan que simplemente mirar qué preguntas recibe un especialista es como juzgar a un chef solo por los ingredientes que recibió, sin probar el plato. En su lugar, proponen un método llamado Contribución-Contraste (CoCo). CoCo observa los momentos específicos donde la opinión de un especialista marcó la mayor diferencia entre una respuesta "buena" y una "mala". Al comparar estos pares, CoCo revela exactamente qué es lo que el experto valora —ya sea "ser conciso" o "usar una lógica paso a paso"— en lugar de solo qué tema suele manejar. Los investigadores probaron esto en dos grandes conjuntos de datos y descubrieron que CoCo ofrece una imagen mucho más clara, honesta y detallada de lo que estos expertos de IA están haciendo realmente, sin hacer que la IA sea menos precisa en su trabajo.

El Problema: El "Director" vs. El "Chef"

En el mundo de los modelos de recompensa de IA, la configuración de "Mezcla de Expertos" es como una escuela con un director y muchos profesores. El director (el enrutador) lee la pregunta de un estudiante y decide qué profesor es el más adecuado para calificarla. Si la pregunta es sobre cocina, el director la envía al "Experto Culinario". Si es sobre programación, va al "Experto en Programación".

Durante un tiempo, los investigadores pensaron que podían entender a estos expertos simplemente mirando las notas del director. Dirían: "Ah, el Experto Culinario recibe principalmente preguntas sobre repostería, así que debe ser el 'experto en repostería'". Esto se llama observar los pesos de enrutamiento.

Pero los autores de este artículo se dieron cuenta de que esto era un poco como juzgar a un chef por los ingredientes que recibió, en lugar de por la comida que cocinó. El hecho de que el Experto Culinario recibiera una pregunta sobre repostería no te dice cómo juzgó la respuesta. ¿Prefería recetas detalladas? ¿Odiaba las explicaciones largas? ¿Le importaban las advertencias de seguridad? Los pesos de enrutamiento solo te dicen quién recibió el trabajo, no cómo lo hizo. Es una historia parcial que omite la parte más importante: el proceso real de toma de decisiones.

La Solución: CoCo (Contribución-Contraste)

Para solucionar esto, el equipo inventó CoCo, que significa Contribución-Contraste. En lugar de solo preguntar "¿Qué experto recibió esta pregunta?", CoCo pregunta: "¿Qué experto marcó la mayor diferencia al decidir que esta respuesta era mejor que esa otra?".

Imagina que eres un juez en una competencia de cocina. Tienes dos platos: uno es una lasaña perfecta y el otro es una ligeramente quemada.

La Forma Antigua (Pesos de Enrutamiento): Miras la tarjeta de puntuación y ves que el "Experto en Cocina Italiana" fue asignado para juzgar esta ronda. Concluyes: "El Experto en Cocina Italiana le gusta la pasta". Pero no sabes si le gustó la lasaña porque era quesosa, porque estaba caliente o porque tenía albahaca.
La Forma CoCo: Miras la tarjeta de puntuación y ves que el "Experto en Cocina Italiana" le dio un gran impulso de puntos a la lasaña en comparación con el plato quemado, mientras que los otros expertos fueron mayormente neutrales. CoCo entonces dice: "¡Ajá! El Experto en Cocina Italiana específicamente ama la pasta quesosa, caliente y con albahaca".

CoCo funciona encontrando los pares de respuestas donde la opinión de un experto fue el factor decisivo. Multiplica dos cosas:

Qué tan probable era que el experto recibiera la pregunta (el peso de enrutamiento).
Cuánto cambió la puntuación del experto el resultado final (la diferencia entre la respuesta "buena" y la "mala").

Al enfocarse en estos momentos de alto impacto, CoCo puede generar una descripción del experto que es fiel a su comportamiento real. No solo dice "Este experto maneja temas de cocina"; dice "Este experto prefiere instrucciones de cocina detalladas y paso a paso sobre sugerencias vagas".

Lo que Encontraron: Una Imagen Más Clara

Los investigadores probaron CoCo contra otros métodos, incluyendo el antiguo método de "pesos de enrutamiento" y algunas otras técnicas sofisticadas que utilizan algo llamado "Autoencoders Dispersos" (que son como intentar encontrar patrones ocultos en una pila gigante de datos). Los probaron en dos enormes conjuntos de datos: uno con 700,000 ejemplos y otro de Reddit.

Los resultados fueron muy claros. CoCo produjo interpretaciones que fueron:

Más Fieles: Las descripciones coincidieron con lo que los expertos realmente hicieron en el proceso de toma de decisiones de la IA. Cuando los investigadores eliminaron al experto de la IA, el comportamiento de la IA cambió exactamente como predijo CoCo.
Más Especializadas: Los expertos descritos por CoCo tenían personalidades muy distintas. Uno podría ser el "policía estricto de la gramática", mientras que otro sería el "narrador creativo". Los otros métodos a menudo producían descripciones vagas o repetitivas.
Igual de Precisos: Crucialmente, usar CoCo para entender a los expertos no hizo que la IA fuera peor en su trabajo. El modelo de recompensa siguió siendo igual de bueno eligiendo las mejores respuestas.

En pruebas humanas, donde las personas leyeron las descripciones de los expertos, calificaron las descripciones de CoCo como las más coherentes y útiles. Realmente pudieron entender en qué era bueno cada "profesor" en el aula.

Por Qué Esto Importa

Este artículo sugiere que si queremos entender verdaderamente cómo la IA toma decisiones, debemos mirar más allá de la superficie. Saber qué tema maneja un experto de IA no es suficiente; necesitamos saber cómo evalúa la calidad de una respuesta. CoCo ofrece una forma de hacer esto sin necesidad de reentrenar la IA o añadir capas nuevas y complejas. Es una herramienta para "auditar" la IA, ayudándonos a ver si nuestros profesores digitales están realmente enseñando lo que creemos que enseñan.

Los autores señalan cuidadosamente que esto no es una varita mágica que revela los pensamientos "verdaderos" y ocultos de la IA. La calidad de la explicación depende de qué tan bien se entrenó la IA en primer lugar. Si los datos de entrenamiento son desordenados, los expertos también podrían serlo. Sin embargo, dentro de los límites de la tecnología actual, CoCo proporciona la ventana más honesta y detallada que tenemos hacia las mentes de estos modelos de recompensa especializados. Nos mueve de adivinar qué hacen los expertos basándonos en con quién hablan, a entender exactamente cómo juzgan el trabajo que realizan.

Resumen Técnico: Más allá de los pesos de enrutamiento: Interpretación fiel a nivel de respuesta de modelos de recompensa de Mezcla de Expertos mediante Contraste de Contribución

1. Declaración del problema

Los modelos de recompensa son fundamentales para el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) y para alinear los Modelos de Lenguaje Extensos (LLMs) con las preferencias humanas. Sin embargo, comprender las propiedades específicas que impulsan sus predicciones sigue siendo un desafío. Aunque los recientes modelos de recompensa de Mezcla de Expertos (MoE) dispersos intentan mejorar la interpretabilidad mediante el enrutamiento de prompts a expertos especializados, los métodos de interpretación actuales son insuficientes.

Los enfoques existentes, como los de Wang et al. (2026), caracterizan a los expertos utilizando ejemplos con los pesos de enrutamiento más altos. Este método revela qué prompts recibe un experto (dominios a nivel de prompt), pero no logra explicar cómo el experto juzga las respuestas. En consecuencia, estas interpretaciones proporcionan solo una cuenta parcial del comportamiento del experto, capturando el contexto de la asignación de entrada en lugar de las dimensiones de preferencia a nivel de respuesta que explican directamente las decisiones del modelo. Además, métodos alternativos como el ranking basado en puntuación ignoran los pesos de enrutamiento, lo que podría resaltar ejemplos donde un experto tiene una alta varianza de puntuación pero una influencia general baja en la recompensa final.

2. Metodología: Contraste de Contribución (CoCo)

Los autores proponen Contraste de Contribución (CoCo), un método de interpretación a nivel de respuesta diseñado para caracterizar fielmente los roles de los expertos en los modelos de recompensa MoE.

Concepto Central

CoCo va más allá de los pesos de enrutamiento o las diferencias de puntuación bruta por sí solas. En su lugar, utiliza el contraste de contribución como la señal de interpretación primaria. Para un par de preferencia dado $(x, y_w, y_l)$ y un experto $k$ , el contraste de contribución con signo se define como:
$\Delta c_k(x, y_w, y_l) = \pi_{\phi,k}(x) [r_{\theta_k}(x, y_w) - r_{\theta_k}(x, y_l)]$
donde $\pi_{\phi,k}(x)$ es el peso de enrutamiento y $[r_{\theta_k}(x, y_w) - r_{\theta_k}(x, y_l)]$ es la diferencia de puntuación entre las respuestas elegida y rechazada. La magnitud $c_k$ mide qué tan fuertemente el experto distingue las respuestas, mientras que el signo indica qué respuesta apoya el experto.

Extracción de la Interpretación

Para interpretar un experto, CoCo selecciona los 10 ejemplos de validación con los mayores magnitudes de contraste de contribución. Luego, se le solicita a un LLM que resuma los patrones contrastivos compartidos en estos pares, identificando si el patrón se relaciona con un contexto compartido, una dimensión de preferencia consistente, o ambos.

Regularización

Para fomentar patrones de contribución dispersos y diversos, los autores adaptan los regularizadores de interpretabilidad existentes (dispersión local, equilibrio global y diversidad de expertos) de Wang et al. (2026). En lugar de aplicarlos a los pesos de enrutamiento, los aplican a los perfiles de contraste de contribución de los pares de preferencia. Esta adaptación ligera alinea las restricciones de interpretabilidad con la señal de contribución contrastiva sin alterar la arquitectura MoE subyacente.

Baselines (Líneas de base)

El artículo compara CoCo contra:

Basado en el enrutador (Router-based): Clasifica los ejemplos por peso de enrutamiento (captura dominios a nivel de prompt).
Basado en la puntuación (Score-based): Clasifica los ejemplos por la diferencia absoluta de puntuación del experto (captura dimensiones a nivel de respuesta pero ignora la influencia del enrutamiento).
Basado en SAE: Métodos como SARM y WIMHF que utilizan Autoencoders Dispersos (Sparse Autoencoders) para extraer características.

3. Contribuciones Clave

Nueva Señal de Interpretación: El artículo introduce el contraste de contribución como una señal que captura conjuntamente el comportamiento de enrutamiento y el comportamiento de preferencia, abordando la brecha donde los pesos de enrutamiento por sí solos no logran explicar las decisiones a nivel de respuesta.
Caracterización a Nivel de Respuesta: A diferencia de los métodos basados en el enrutador que identifican dominios de prompts, CoCo identifica dimensiones de preferencia a nivel de respuesta (por ejemplo, "recomendaciones concisas en lugar de listas extensas") que son fieles al proceso de toma de decisiones real del modelo.
Estudio Sistemático: Este trabajo presenta el primer estudio sistemático de métodos de interpretación específicamente para modelos de recompensa MoE, comparando alternativas basadas en enrutadores, puntuaciones y SAE.
Adaptación de la Regularización: Los autores demuestran cómo adaptar los regularizadores de dispersión y diversidad para que operen sobre contrastes de contribución en lugar de pesos de enrutamiento, mejorando la distintividad de los roles de los expertos.

4. Resultados Experimentales

Los autores evaluaron CoCo en dos conjuntos de datos: 700K (Dong et al., 2024) y Reddit (Ethayarajh et al., 2022), utilizando un modelo de recompensa MoE de 3 mil millones de parámetros.

Evaluación Automática

CoCo superó a los baselines existentes (SARM, WIMHF, SMoE) y a otras señales alternativas (basadas en enrutador, basadas en puntuación) en múltiples métricas:

Calidad de la Interpretación: CoCo logró la mayor Fidelidad (correlación entre la señal y los juicios del LLM sobre si los ejemplos siguen la interpretación). Mientras que SMoE logró una menor Redundancia en el conjunto de datos 700K, CoCo demostró una interpretabilidad general sólida, equilibrando la distinción con una alta fidelidad y veracidad.
Veracidad de la Decisión (Decision Faithfulness): CoCo mostró una Acuerdo Experto-Modelo superior (proporción de los mejores ejemplos donde el experto y el modelo completo coinciden) y una Tasa de Cambio por Eliminación (Removal Flip Rate) (proporción donde eliminar al experto cambia la predicción del modelo).
Especialización del Experto: Los expertos de CoCo demostraron una mayor Precisión del Experto y Ventaja Relativa del Experto en sus ejemplos mejor clasificados en comparación con otros métodos.

Evaluación Humana

Cinco anotadores evaluaron los 10 mejores ejemplos para cinco expertos por método en el conjunto de datos Reddit. CoCo recibió las calificaciones más altas tanto en Coherencia de Patrón como en Calidad de la Descripción, lo que indica que sus interpretaciones eran más coherentes y describían mejor el rol del experto que los métodos basados en enrutadores o SAE.

Estudios de Ablación

Las comparaciones dentro del mismo modelo MoE entrenado con diferentes objetivos de regularización confirmaron que la señal de Contraste de Contribución es la más efectiva para seleccionar conjuntos de ejemplos informativos. Incluso cuando se aplicó a modelos entrenados con objetivos basados en enrutamiento o puntuación, las interpretaciones de CoCo siguieron siendo más fieles y especializadas que las interpretaciones derivadas de las otras señales.

5. Significado y Reivindicaciones

El artículo afirma que CoCo proporciona una interpretación más coherente, fiel y especializada de los expertos de los modelos de recompensa MoE que las alternativas existentes. Al capturar conjuntamente el comportamiento de enrutamiento y de preferencia, CoCo ofrece una base más informativa para comprender las decisiones del modelo que los pesos de enrutamiento o las puntuaciones de los expertos de forma aislada.

Los autores mantienen una postura modesta respecto a sus afirmaciones:

Reconocen que CoCo depende de la estructura aprendida por el modelo MoE subyacente y no puede garantizar que los expertos aprendidos correspondan a dimensiones de preferencia "limpias" o semánticamente significativas.
Observan que, como enfoque centrado en los datos, CoCo puede fallar al recuperar patrones ausentes o débilmente representados en los datos de entrenamiento.
Aclaran que sus métricas (fidelidad, veracidad, etc.) sirven como evidencia de coherencia conductual y alineación de decisiones, no como prueba de un desentrelazamiento de la verdad fundamental (ground-truth).
Éticamente, posicionan a CoCo como una herramienta de auditoría en lugar de un validador de valores humanos deseables, señalando que las interpretaciones pueden reflejar sesgos presentes en los conjuntos de datos subyacentes.

En conclusión, el artículo establece el contraste de contribución como una señal superior para interpretar los modelos de recompensa MoE, ofreciendo una vía hacia conocimientos más transparentes y accionables sobre cómo estos modelos se alinean con las preferencias humanas.