🤖 machine learning

LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoning

Este artículo presenta "LLM-jury", un método de escalado en tiempo de prueba libre de parámetros que aprovecha el consenso entre modelos para superar la autocoherencia y los modelos de recompensa entrenados en la selección de cadenas de razonamiento correctas mediante la explotación de la decorrelación de errores, al tiempo que proporciona una ley de forma cerrada para predecir su precisión e identificar su techo de falla.

Autores originales: Ning Liu

Publicado 2026-07-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ning Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de resolver un problema matemático realmente difícil o un acertijo científico. Le pides la respuesta a una IA súper inteligente. Pero, a veces, incluso la IA más inteligente se queda atrapada en su propia cabeza, cometiendo el mismo error una y otra vez porque está demasiado segura de su propia lógica errónea.

Este artículo presenta una nueva forma de verificar la respuesta: el LLM-Jury (Jurado de LLM).

El Problema: La trampa de la "Cámara de Eco"

Normalmente, cuando queremos estar seguros de que una IA tiene razón, le hacemos la misma pregunta muchas veces y tomamos la respuesta más común. Esto se llama Autoconsistencia (Self-Consistency).

Piensa en esto como pedirle consejo a tu mejor amigo, pero se lo pides 12 veces seguidas. Si tu amigo está teniendo un mal día y se equivoca, es probable que se equivoque las 12 veces seguidas. Votará con confianza por la respuesta incorrecta y, como es el único al que le has preguntado, la "mayoría" estará equivocada. El artículo muestra que este método hereda los puntos ciegos de ese amigo.

Otra forma en la que la gente intenta solucionar esto es entrenando a un "IA Juez" especial para calificar las respuestas. Pero este juez necesita mucha tarea (datos etiquetados) para aprender a calificar, y si le haces una pregunta sobre un tema que no ha estudiado, a menudo falla.

La Solución: El "LLM-Jury"

Los autores proponen una idea diferente: Consenso entre Modelos Cruzados (Cross-Model Consensus). En lugar de preguntarle al mismo amigo 12 veces, le preguntas a cuatro amigos diferentes que fueron criados en casas distintas, fueron a escuelas diferentes y piensan de formas totalmente distintas.

La Configuración: Tienes una IA "Generadora" que crea una lista de posibles respuestas. Luego, tienes un "Jurado" de otros tres AIs (como Qwen, DeepSeek y Claude) que cada uno resuelve el problema una sola vez, de forma independiente. Nunca ven el trabajo de los demás.
El Veredicto: Si tres de los cuatro jurados están de acuerdo en una respuesta, esa es la que eliges.

Por qué funciona: El efecto "Dispersión"

El artículo explica esto con una metáfora ingeniosa sobre los errores.

Las respuestas incorrectas de un mismo modelo son como un grupo de amigos que tropiezan todos con la misma piedra. Todos caen en el mismo lugar.
Las respuestas incorrectas de diferentes modelos son como un grupo de amigos que tropiezan con cosas diferentes. Uno tropieza con una cáscara de banana, otro con una piedra suelta, otro con un charco. Sus errores se "dispersan" por todas partes.

Debido a que las respuestas incorrectas de diferentes modelos están dispersas, se cancelan entre sí. La respuesta correcta, sin embargo, es la única que tiene sentido para todos, por lo que reúne todos los votos. El artículo midió esto y descubrió que en competencias matemáticas difíciles, este método de jurado captura el 100% de la mejora posible sobre el viejo método de "preguntar al mismo amigo muchas veces", mientras que un solo modelo intentando calificar su propio trabajo captura casi el 0%.

La "Ley Mágica" y el "Techo"

Los investigadores no solo supusieron que esto funcionaría; escribieron una ley matemática (una fórmula sin configuraciones ocultas) que predice exactamente qué tan bien lo hará el jurado. Probaron esta ley en siete benchmarks diferentes, desde matemáticas de escuela primaria hasta ciencia de nivel de posgrado, y predijo los resultados con un error promedio de solo 0.03 (¡eso es increíblemente cercano!).

Sin embargo, el artículo también encontró un techo (un límite) para lo bueno que esto puede llegar a ser.

El Suelo del Error Compartido: A veces, los cuatro jurados podrían compartir un mismo concepto erróneo. Por ejemplo, si todos aprendieron un hecho científico específico de forma incorrecta durante su entrenamiento, podrían estar todos de acuerdo unánimemente en la respuesta incorrecta.
El artículo midió este "suelo". En problemas matemáticos, es casi 0 (rara vez comparten el mismo error matemático). Pero en preguntas de ciencia (como el benchmark GPQA), el suelo es de aproximadamente 0.03, lo que significa que hay una pequeña posibilidad de que todos estén de acuerdo con confianza en una respuesta incorrecta debido a que comparten un punto ciego.

Los Resultados: Superando a los Expertos

El artículo comparó este Jurado gratuito y sin necesidad de entrenamiento contra cuatro tipos diferentes de "jueces entrenados" (modelos de IA especiales construidos específicamente para calificar respuestas).

Dentro de su zona de entrenamiento: En problemas matemáticos, el Jurado empató o superó a los mejores jueces entrenados.
Fuera de su zona de entrenamiento: En preguntas de ciencia donde los jueces entrenados nunca habían visto datos previos, el Jurado fue el mejor performer, mientras que los jueces entrenados tuvieron dificultades.

El Jurado hace esto sin necesidad de ningún entrenamiento adicional ni datos etiquetados. Simplemente utiliza los modelos que ya tenemos.

La "Cascada de Acuerdo": Ahorrando Dinero

El artículo también sugiere una forma inteligente de ahorrar potencia de cómputo. No siempre necesitas preguntar a los cuatro jurados.

Pregunta primero a solo dos jurados. Si están de acuerdo, has terminado (¡barato!).
Si no están de acuerdo, entonces pide a los otros dos que se unan a la fiesta (más caro, pero solo para los problemas difíciles).
Este método de "cascada" ahorra mucha potencia de cómputo y sigue obteniendo la misma alta precisión que preguntar a los cuatro cada vez.

Lo que NO es

El artículo es muy claro sobre lo que este método no es:

No es una varita mágica que lo arregla todo. Si todos los modelos comparten una idea errónea específica (como una conversión de unidades químicas específica), el Jurado estará de acuerdo con confianza en el error, y ninguna cantidad de votación lo arreglará.
No es simplemente "más modelos es mejor". El artículo demostró que preguntarle a un modelo 32 veces es peor que preguntarle a cuatro modelos diferentes solo una vez. La magia proviene de la diferencia entre los modelos, no solo del número de votos.
No es un reemplazo para el modelo individual más inteligente si ese modelo ya es perfecto. Pero como ningún modelo es perfecto, el Jurado es la mejor herramienta que tenemos para elegir la respuesta correcta de un montón de conjeturas.

En resumen, el artículo muestra que si quieres saber si una IA tiene razón, no le pidas que se califique a sí misma. Pide a un panel de diferentes IAs que vote. Si están de acuerdo, puedes confiar en ellos. Si no están de acuerdo, sabes que necesitas investigar más a fondo. Y lo mejor de todo, puedes predecir exactamente cuánto puedes confiar en ellos antes de siquiera empezar.

Resumen Técnico: LLMs como un Jurado

Planteamiento del Problema

Los sistemas de razonamiento modernos dependen cada vez más del escalado en tiempo de inferencia (test-time scaling), donde se emplea cómputo para muestrear múltiples soluciones candidatas y seleccionar la mejor. A medida que el número de muestras crece, una respuesta correcta casi siempre aparece en el conjunto, lo que desplaza el cuello de botella de la generación a la selección. El artículo identifica que los verificadores de selección existentes sufren limitaciones estructurales:

Autoconsistencia (votación por mayoría sobre muestras repetidas de un solo modelo) hereda los errores sistemáticos de ese modelo único. Un modelo que está erróneamente seguro de sí mismo generará repetidamente el mismo error, votando su propio error hacia la mayoría.
Modelos de recompensa entrenados (Modelos de Recompensa de Resultado u Modelos de Recompensa de Proceso) requieren datos de entrenamiento anotados y se transfieren mal fuera de su distribución de entrenamiento específica.
Verificadores de LLM de un solo modelo (donde un modelo califica sus propios candidatos) son débiles, ya que un modelo no puede adjudicarse sus propios puntos ciegos.

El artículo busca un verificador libre de etiquetas, general y libre de entrenamiento que pueda detectar errores ante los cuales un solo modelo es ciego.

Metodología: El Jurado de LLM

Los autores proponen el Consenso entre Modelos Cruzados, conceptualizado como un jurado de LLM.

Mecanismo: Un panel de $M$ modelos entrenados de forma independiente (los "jurados") resuelve un problema una vez cada uno. Nunca ven los candidatos generados por un generador separado, ni ven el trabajo de los demás.
Señal de Selección: La selección se basa en la estructura del acuerdo. La respuesta correspondiente a la clase modal (la respuesta más frecuente) es la seleccionada. La fracción de modelos que están de acuerdo ( $g$ ) sirve como una señal de confianza.
Hipótesis Central: El mecanismo se basa en la decorrelación de errores. Los modelos entrenados independientemente cometen errores diferentes. Cuando erran, sus respuestas incorrectas se dispersan; cuando son correctos, convergen. En contraste, el remuestreo de un solo modelo (autoconsistencia) repite errores correlacionados, fabricando una mayoría segura pero errónea.

Marco Teórico: Una Ley Libre de Parámetros

El artículo deriva una ley de forma cerrada y libre de parámetros para predecir el comportamiento del jurado basándose en tres estadísticas medibles del panel:

$a$ : Precisión media de los miembros.
$\rho$ : Correlación de error pareada media.
$s$ : La tasa de conceptos erróneos compartidos (la probabilidad de que, cuando un modelo se equivoca, caiga en un "atractor" de respuesta errónea compartido por otros modelos que también erran).

Percepciones Teóricas Clave:

Precisión del Consenso: Predicha por la ley, aumenta a medida que la correlación de error ( $\rho$ ) disminuye.
Suelo de Error Compartido: La ley define un suelo de error irreducible: la probabilidad de que todo el panel esté unánimemente de acuerdo en una única respuesta errónea. Esto ocurre cuando los modelos comparten un concepto erróneo. La ley predice que este suelo es cercano a cero para matemáticas (donde los errores se dispersan) pero no trivial para ciencias (donde los modelos comparten conceptos erróneos específicos).
Poder Predictivo: La ley predice la precisión del consenso y la curva completa de predicción selectiva (precisión vs. cobertura) con un Error Absol de la Media (MAE) de 0.03, sin ajustar parámetros al objetivo de la predicción.

Contribuciones Clave

El Acuerdo como Verificador: El jurado de LLM selecciona respuestas correctas mejor que la autoconsistencia y los verificadores de modelo único a través de siete benchmarks. En matemáticas de competición (AIME), captura el 100% de la ganancia de selección alcanzable sobre la autoconsistencia, mientras que un modelo que califica sus propios candidatos captura aproximadamente el 0%.
Ley Predictiva y Techo: Una ley de forma cerrada predice el comportamiento del consenso y su modo de fallo (el suelo de error compartido) a partir de las estadísticas del panel. Cuantifica que el techo del método está determinado por qué tan similares son los errores de los modelos, no por el método en sí.
Desempeño contra Verificadores Entrenados: El jurado de LLM iguala o supera a los verificadores entrenados de última generación (PRMs discriminativos, ORMs y verificadores generativos) tanto dentro como fuera de sus dominios de entrenamiento, con costo de entrenamiento cero.
Aislamiento del Mecanismo: A través de experimentos de tamaño y precisión emparejados, el artículo aísla la decorrelación de errores como la causa operativa de la ganancia, en lugar de una mera combinación de múltiples modelos. Un panel de cuatro modelos decorrelacionados supera a un solo modelo remuestreado 32 veces.

Resultados Experimentales

El estudio evalúa el jurado de LLM frente a la autoconsistencia, verificadores de modelo único y cuatro verificadores entrenados a través de siete benchmarks (AIME-2024/2025, MATH-500, OlympiadBench, GSM8K, GPQA, MMLU-Pro y HumanEval+).

Precisión de Selección: En un conjunto fijo de $N=12$ $N = 12$ candidatos, el jurado de LLM es el selector no-oráculo más fuerte en cada benchmark no saturado.
- AIME-2024: El jurado logra un 56.7% de precisión, cerrando toda la brecha respecto al oráculo (56.7%). La autoconsistencia logra un 36.7%. El verificador de modelo único logra un 30.0%.
- GPQA (Ciencia): El jurado (35.9%) supera significativamente al verificador de modelo único (26.3%) y a los PRMs entrenados, aunque la ganancia sobre la autoconsistencia es menor debido al mayor suelo de error compartido en ciencias.
Generalización: El jurado supera a los verificadores entrenados en entornos fuera de su dominio (ej. GPQA), donde los modelos de recompensa entrenados se degradan.
Dominio de Código: En HumanEval+, el consenso conductual (acuerdo en las salidas de ejecución) predice la corrección con un AUROC de 0.748, demostrando la aplicabilidad de la señal más allá de la coincidencia de texto.
Eficiencia de Costo: Una "cascada controlada por acuerdo" (ejecutar primero un panel económico de 2 modelos, escalando a 4 solo en caso de desacuerdo) logra la precisión del panel completo a un costo cercano al del modelo económico (ej. 2.2 llamadas/problema en MATH-500), superando significativamente a la autoconsistencia con el mismo presupuesto.

Significado y Reivindicaciones

El artículo sostiene que el Consenso entre Modelos Cruzados es una primitiva de verificación fundamental y predecible que no requiere datos de entrenamiento ni etiquetas.

Predecibilidad: El método está caracterizado por una ley que indica a los profesionales cuándo confiar en él (basándose en las estadísticas medidas del panel) y dónde falla (el suelo de error compartido).
Agnosticismo de Dominio: A diferencia de los modelos de recompensa entrenados que son especializados en un dominio, el jurado generaliza porque la señal (errores decorrelacionados) es inherente al entrenamiento independiente, no a un conjunto de datos específico.
Eficiencia: Ofrece una opción sólida por defecto para el escalado en tiempo de inferencia utilizando únicamente los modelos que el profesional ya posee, evitando el costo de entrenar modelos de recompensa separados.
Limitaciones: El método tiene un techo duro definido por el suelo de error compartido. Si los modelos entrenados independientemente comparten un concepto erróneo (común en dominios científicos), el jurado estará unánimemente de acuerdo en la respuesta incorrecta, y ninguna señal basada en el acuerdo podrá detectarlo. El artículo señala que este suelo es cercano a cero para matemáticas pero no es trivial para ciencias.

Los autores concluyen que, a medida que el proceso de selección (en lugar de la generación) limita cada vez más la precisión de extremo a extremo, un panel decorrelacionado es una solución robusta y libre de etiquetas que iguala y a menudo supera a los verificadores entrenados.