🤖 AI

CoRE: Consensus Rewards via Equilibrium for Test-Time Reinforcement Learning

El artículo presenta CoRE, un método de aprendizaje por refuerzo en tiempo de prueba que reemplaza la frágil votación por mayoría con recompensas de consenso basadas en grafos derivadas de la dinámica del replicador para proporcionar señales graduadas y autosupervisadas que mejoran la precisión y la velocidad de convergencia a través de diversos modelos y evaluaciones.

Autores originales: Ambuj Mehrish, Sebastiano Vascon

Publicado 2026-08-11

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ambuj Mehrish, Sebastiano Vascon

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde un robot súper inteligente intenta aprender a resolver un rompecabezas difícil, pero no hay nadie allí para decirle si ha acertado la respuesta. Esta es la vida cotidiana de los modelos de IA modernos cuando se enfrentan a nuevas preguntas sin etiquetar. Para aprender, estos modelos suelen necesitar a un profesor que diga: "¡Buen trabajo!" o "¡Inténtalo de nuevo!" basándose en una clave de respuestas correcta. Pero, ¿qué pasa cuando no hay una clave de respuestas? Aquí es donde entra en juego un campo llamado Aprendizaje por Refuerzo en Tiempo de Prueba (Test-Time Reinforcement Learning). Es un truco ingenioso donde la IA intenta enseñarse a sí misma generando muchos intentos diferentes (llamados "roll-outs") para el mismo problema y luego analizando su propio trabajo para determinar qué creer.

La forma estándar de hacer esto es como una votación en un salón de clases. Si la IA genera 64 respuestas diferentes, simplemente las cuenta. Si 35 dicen "42" y 29 dicen "17", la IA asume que "42" es la verdad porque tiene más votos. Luego, recompensa cada intento que dijo "42" y castiga al resto. Esto funciona bien la mayor parte del tiempo, pero tiene un fallo fatal: trata un golpe de suerte igual que una solución brillante y bien razonada, e ignora la posibilidad de que la "mayoría" pueda estar erradamente segura de sí misma. Si un pequeño grupo de intentos inteligentes y seguros dice "17", mientras que un grupo grande y confundido grita "42", el sistema de votación aplastará a la minoría inteligente. Este artículo pregunta: ¿Podemos construir una forma más inteligente para que la IA se escuche a sí misma, una que valore cómo coinciden las respuestas, no solo cuántas coinciden?

El problema con la urna de votación

Imagina a un grupo de detectives intentando resolver un crimen. En la forma antigua (el método de "Voto por Mayoría"), simplemente levantan la mano. Si 60 detectives señalan al mayordomo y 40 señalan al jardinero, el mayordomo es culpable. Pero, ¿y si los 60 que señalan al mayordomo están todos confundidos, mientras que los 40 que señalan al jardinero son en realidad los únicos que leyeron las pistas correctamente? El sistema de votación castigaría a los detectives inteligentes y recompensaría a los confundidos, haciendo que todo el equipo sea más tonto con el tiempo.

Esto es exactamente lo que les sucede a los modelos de IA que utilizan el Aprendizaje por Refuerzo en Tiempo de Prueba estándar. Generan un montón de respuestas, cuentan a los ganadores y asumen que el ganador tiene razón. Si la IA comete un error sistemático que resulta ser popular, refuerza ese error. Es como una democracia rota donde la voz más fuerte gana, incluso si está gritando disparates.

Entra CoRE: La mesa redonda de los detectives

Los autores de este artículo, Ambuj Mehrish y Sebastiano Vascon, proponen un nuevo método llamado CoRE (Consensus Rewards via Equilibrium - Recompensas por Consenso mediante Equilibrio). En lugar de solo contar cabezas, CoRE trata los intentos de la IA como una compleja red de relaciones.

Así es como funciona, usando una analogía simple:
Imagina que los 64 intentos de la IA son personas sentadas en una habitación.

El Gráfico: En lugar de solo gritar respuestas, estas personas forman una gran red de conexiones. Dos personas están conectadas si dieron la misma respuesta. Pero la conexión no es solo un "sí/no". Está ponderada por qué tan similar fue su razonamiento (¿usaron la misma lógica?) y qué tan seguros sonaban (¿hablaron con certeza?).
El Equilibrio: El sistema luego ejecuta una simulación matemática llamada "dinámica de replicador". Piensa en esto como un juego de sillas musicales donde las personas que están más respaldadas por sus vecinos lógicos y seguros comienzan a ponerse de pie y formar un círculo apretado y fuerte. El "conjunto dominante" es el grupo que mantiene el mayor apoyo mutuo.
La Recompensa: En lugar de dar un simple "aprobado" o "reprobado" a todos los que votaron por el ganador, CoRE otorga una puntuación graduada. Si tu respuesta formó parte de un círculo lógico, seguro y apretado, recibes una recompensa alta. Si fuiste parte de un grupo débil y confundido, recibes una recompensa baja. Incluso si estuviste en la minoría, si tu grupo era el más coherente y seguro, CoRE podría de hecho elegirte a ti como el ganador.

Lo que encontraron

Los investigadores probaron este nuevo método "CoRE" contra el antiguo método de "Voto por Mayoría" utilizando siete modelos de IA diferentes y cinco bancos de pruebas de matemáticas y ciencias. Realizaron los experimentos con tres semillas aleatorias diferentes (básicamente, tres condiciones iniciales distintas) para asegurar que los resultados fueran reales.

Los resultados fueron bastante prometedores:

Mejores puntuaciones: En promedio, los modelos que utilizaron CoRE mejoraron su precisión en 21.7 puntos en comparación con su punto de partida sin aprendizaje. El viejo método de votación solo mejoró en 20.4 puntos.
Ganando las batallas disputadas: La verdadera magia ocurrió cuando las respuestas estaban divididas. En situaciones donde la IA no estaba segura y el "voto" estaba reñido, CoRE superó al método de votación por hasta 7.5 puntos. Logró rescatar a la "minoría inteligente" que el sistema de votación habría ignorado.
Aprendizaje más rápido: CoRE no solo mejoró, sino que lo hizo más rápido. Alcanzó el mismo nivel de precisión final que el método de votación en un 54% a 70% menos de pasos. Esto sugiere que las recompensas graduadas y matizadas de CoRE le dan a la IA una señal más clara y útil para aprender.

La "Zona de Recuperación"

El artículo también explica cuándo funciona mejor esto. Encontraron una "zona de recuperación" específica. Si la IA es tan mala que no puede resolver el problema en absoluto, o tan buena que todos están de acuerdo perfectamente, CoRE actúa igual que el viejo método de votación (lo cual está bien). Pero en el terreno intermedio y desordenado —donde un pequeño grupo de respuestas correctas y seguras lucha contra un grupo más grande de respuestas erróneas y seguras— CoRE brilla.

Los autores demostraron matemáticamente que si las respuestas correctas son incluso ligeramente más seguras que las incorrectas, CoRE puede cambiar el guion y elegir la respuesta correcta, incluso si es la minoría. Es como un juez sabio que se da cuenta de que los 40 detectives con una coartada sólida son más confiables que los 60 detectives que solo adivinaron.

La conclusión

Este artículo sugiere que no necesitamos desechar el sistema de votación por completo; de hecho, CoRE incluye la votación como un caso especial. Pero al añadir una capa de "inteligencia social" —observando cómo las respuestas se apoyan entre sí y qué tan seguras son— podemos convertir un voto frágil y de todo o nada en un sistema de recompensa inteligente y calibrado.

Los autores advierten cuidadosamente que esto no es una varita mágica que lo arregla todo. Si la IA está completamente perdida (el "suelo de competencia"), CoRE no puede inventar una respuesta correcta de la nada. Pero para los problemas complicados donde la IA está casi en lo cierto pero se confunde por la multitud, CoRE sugiere una forma de escuchar la voz silenciosa y segura de la razón en lugar de solo el grito más fuerte. Convierte un simple recuento de cabezas en una conversación sofisticada, ayudando a los modelos de IA a aprender de forma más rápida y más inteligente de sus propios errores.

Resumen Técnico: CoRE – Consenso de Recompensas mediante Equilibrio para el Aprendizaje por Refuerzo en Tiempo de Prueba

Declaración del Problema

El Aprendizaje por Refuerzo en Tiempo de Prueba (TTRL, por sus siglas en inglés) tiene como objetivo mejorar el razonamiento de los modelos de lenguaje en datos de prueba no etiquetados mediante la derivación de supervisión a partir de los propios despliegues (roll-outs) del modelo. El enfoque estándar, el Voto por Mayoría, trata el conjunto de $N$ respuestas muestreadas como una urna electoral: identifica la respuesta más frecuente como una etiqueta pseudo y asigna una recompensa binaria (1 o 0) a las trayectorias que coinciden con dicha etiqueta.

Este enfoque sufre tres limitaciones críticas:

Agregación Frágil: Descarta respuestas correctas si estas constituyen una minoría, incluso si son internamente coherentes. Por el contrario, recompensa grupos mayoritarios incorrectos, lo que puede amplificar errores sistemáticos.
Recompensas Binarias: Asigna recompensas idénticas a una derivación bien fundamentada y a un acierto de suerte, fallando al no distinguir la calidad del acuerdo.
Ponderación Uniforme de Preguntas: Trata cada pregunta por igual, independientemente de si los despliegues forman un consenso coherente o un conjunto fragmentado de soluciones incompatibles.

El desafío central es construir una señal de recompensa a partir de los despliegues no etiquetados que capture la estructura relacional y el apoyo mutuo entre los caminos de razonamiento, en lugar de simplemente contar votos.

Metodología: CoRE

Los autores proponen CoRE (Consensus Rewards via Equilibrium), un método que reemplaza el voto por mayoría con un enfoque de equilibrio basado en grafos. CoRE opera sobre los mismos $N$ despliegues que el TTRL estándar, pero los procesa de manera diferente para generar señales refinadas.

1. Construcción del Grafo de Despliegues

CoRE construye un grafo ponderado $G=(V, E, \omega)$ donde los nodos representan los $N$ despliegues. Los bordes se definen mediante una matriz de afinidad $A'$ que combina tres señales:

Acuerdo de Respuesta: Un núcleo duro $K_{ans}$ asegura que solo existan bordes entre despliegues con la misma respuesta extraída.
Similitud de Razonamiento: Un núcleo blando $K_{rsn}$ basado en la similitud de coseno de vectores $n$ -grama TF-IDF del texto de razonamiento fortalece los vínculos dentro de la misma clase de respuesta.
Calibración de Confianza: Los pesos de los nodos $w_i$ se derivan de la confianza de generación (media de la log-probabilidad de los tokens). Los bordes se escalan por la media geométrica de las confianzas de los extremos ( $\sqrt{w_i w_j}$ ), asegurando que las trayectorias de alta confianza se refuercen entre sí con mayor fuerza.

La matriz de afinidad final $A'$ es de bloques diagonales, donde cada bloque corresponde a una clase de respuesta única.

2. Extracción del Conjunto Dominante mediante Dinámica de Replicador

En lugar de contar votos, CoRE extrae un Conjunto Dominante (DS) del grafo utilizando la Dinámica de Replicador (RD), un proceso de optimización de la teoría de juegos evolutiva.

Inicialización: El sistema parte del baricentro del simplex, asignando una masa inicial proporcional al tamaño de cada clase de respuesta (efectivamente partiendo del voto por mayoría).
Dinámica: El sistema actualiza iterativamente la distribución de masa $x$ basándose en la forma cuadrática $x^\top A' x$ . Este proceso converge a un punto estable $x^*$ donde la masa se concentra en el subconjunto de trayectorias que más se apoyan mutuamente.
Resultado: El soporte de $x^*$ (nodos con masa por encima de un umbral) define el consenso.

3. Generación de Recompensas

A partir del estado de equilibrio $x^*$ , CoRE deriva tres señales distintas:

Etiqueta Pseudo Refinada ( $y^*$ ): La clase de respuesta con la mayor masa de equilibrio. Esta puede diferir del voto de pluralidad si una minoría más pequeña, pero altamente coherente, emerge como dominante.
Recompensas Graduadas ( $R_i$ ): Cada despliegue recibe una recompensa continua proporcional a su afinidad con el consenso, en lugar de un 0/1 binario.
Puerta de Cohesión ( $w_q$ ): Un escalar a nivel de pregunta que mide la coherencia general del consenso. Esta puerta escala la función de pérdida en la actualización de la política (GRPO), filtrando preguntas donde no existe un consenso fiable.

Contribuciones Clave

1. Innovación Metodológica

CoRE es el primer método de TTRL que utiliza la extracción de Conjuntos Dominantes para construir recompensas. Transforma el grupo de despliegues de una "urna de votación" en un "grafo", permitiendo la recuperación de clústeres minoritarios correctos que son coherentes y confiables, incluso cuando son superados en número. Se integra directamente en GRPO sin requerir modelos auxiliares ni despliegues adicionales.

2. Análisis Teórico

El artículo proporciona un marco teórico riguroso:

Generalización: Se demuestra que el voto por mayoría es un caso especial de CoRE (cuando se ignora la similitud de razonamiento y la confianza es uniforme).
Umbral de Recuperación: Un análisis de valor de bloque deriva el umbral exacto en el cual una minoría correcta puede revertir una pluralidad incorrecta. El umbral depende de la relación entre los tamaños de los clústeres y su coherencia interna.
Multiplicación de Confianza: El análisis demuestra que la calibración de confianza reduce multiplicativamente el umbral de recuperación. Específicamente, si los despliegues correctos son más confiables que los incorrectos, la coherencia requerida para que una minoría gane disminuye exponencialmente con la brecha de confianza.

3. Evidencia Empírica

Evaluado en 7 backbones (Qwen, DeepSeek, Llama, Mistral) y 5 benchmarks (AMC, AIME, MATH-500, MATH-L4/5, GPQA-Diamond) con 42 configuraciones de modelo-benchmark:

Rendimiento: CoRE mejora la precisión en +21.7 puntos sobre el modelo base no entrenado en promedio en las 42 celdas de modelo–benchmark, superando al TTRL de Voto por Mayoría (+20.4 puntos). Notablemente, los modelos especializados en matemáticas muestran una mejora promedio de +25.0 puntos.
Consenso Contestado: CoRE logra ganancias de hasta +7.5 puntos sobre el voto específicamente en escenarios donde el acuerdo es disputado (por ejemplo, subconjuntos de MATH-L4/L5).
Eficiencia de Muestreo: CoRE alcanza la meseta de precisión final del modelo de referencia de votación en 54–70% menos pasos de optimización.
Ablación: Eliminar la estructura de grafo o la calibración de confianza reduce el rendimiento a niveles cercanos al voto por mayoría, confirmando que la sinergia entre la coherencia estructural y la confianza es esencial.

Significado y Afirmaciones

El artículo afirma que el consenso no es meramente contar. Al modelar el apoyo mutuo entre los caminos de razonamiento, CoRE convierte un mecanismo de votación frágil en una señal de recompensa graduada y calibrada para la supervisión propia.

Mecanismo: El método tiene éxito al recuperar la supervisión de "grupos correctos más pequeños, coherentes y confiables" que los recuentos de votos pasan por alto.
Regímenes de Operación: Las ganancias se concentran en el "régimen intermedio", donde existe una minoría correcta coherente pero no es la pluralidad. En regímenes de "saturación" (respuestas correctas casi unánimes) o de "suelo de competencia" (azar aleatorio), CoRE degenera naturalmente hacia o actúa de forma similar al voto por mayoría, evitando el sobreajuste al ruido.
Autosupervisión: CoRE demuestra que tratar los despliegues como un grafo en lugar de muestras independientes produce una señal de entrenamiento más densa, mejorando tanto la calidad de la etiqueta pseudo como la eficiencia de la actualización de la política.

Los autores concluyen que CoRE representa un componente sustancial del aprendizaje por refuerzo autosupervisado, ofreciendo una forma fundamentada de manejar el desacuerdo en la adaptación en tiempo de prueba sin supervisión externa.