🤖 AI

When Self-Consistency Backfires: Majority Vote Hurts the Majority of Hard Science Problems for Small LLMs

Este artículo demuestra que para los modelos de lenguaje de gran tamaño (LLM) de pequeño tamaño ajustados por instrucciones en problemas de ciencias duras, la autoconsistencia mediante votación por mayoría a menudo reduce la precisión en comparación con la inferencia de una sola muestra debido a que el alto grado de acuerdo entre las respuestas generadas no se correlaciona de manera confiable con la corrección.

Autores originales: Utkarsh Bahuguna

Publicado 2026-08-13

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Utkarsh Bahuguna

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un acertijo realmente difícil. Le pides la respuesta a un amigo, pero él parece inseguro. Así que le haces la misma pregunta diez veces. Si te da la misma respuesta ocho veces, probablemente pienses: "¡Vale, debe de tener razón!". Esto es un poco como cómo los cerebros de las computadoras modernas, llamados Modelos de Lenguaje Extensos (LLM), intentan volverse más inteligentes. En lugar de solo adivinar una vez, a menudo se les dice que "piensen" en un problema muchas veces, generando diferentes cadenas de pensamiento, y luego eligen la respuesta que aparece con más frecuencia. Esta técnica se llama Consistencia Propia (Self-Consistency). Es como pedirle el voto a una multitud; la idea es que el "voto de la mayoría" casi siempre será el correcto.

¿Por qué es esto importante? Porque estos cerebros de computadora se están acostumbrando a resolver problemas científicos difíciles, desde la biología hasta la física. Si el truco de la "votación de la multitud" funciona, podemos simplemente dejar que la computadora piense más tiempo y con más ahínco para obtener mejores resultados. Pero, ¿qué pasa si la multitud está equivocada? ¿Qué pasa si la computadora está tan segura de una respuesta incorrecta que pedirle que lo intente más veces solo hace que se aferre más a ella? Esa es la pregunta aterradora que este artículo plantea. Los investigadores querían saber: en las preguntas científicas más difíciles, ¿ayuda realmente pedirle a la computadora que vote sobre sus propias respuestas o, por el contrario, empeora las cosas accidentalmente?

El Gran Contraataque del Voto

En este estudio, los investigadores probaron dos cerebros de computadora más pequeños y populares (uno llamado Qwen2.5-7B y otro Llama-3-8B) en una prueba muy dura llamada GPQA Diamond. Esta prueba tiene 198 preguntas de nivel de posgrado en biología, química y física. Es el tipo de cosas que harían sudar a un estudiante de último año de universidad.

El equipo utilizó un método ingenioso y preplanificado para ver qué sucede cuando dejan que estos modelos "voten" sobre sus propias respuestas. Pidieron a los modelos que generaran hasta 64 intentos diferentes para resolver cada problema y luego tomaron la respuesta más común (el voto de la mayoría).

Aquí está el giro: el voto de la mayoría salió el tiro por la culata.

En lugar de volverse más inteligentes, los cerebros de las computadoras en realidad se volvieron peores en la mayoría de los problemas.

Para el modelo Qwen, el método de votación perjudicó la precisión en el 56.6% de los problemas.
Para el modelo Llama, perjudicó el 65.7% de los problemas.

Piénsalo de esta manera: Imagina a un estudiante haciendo un examen de matemáticas difícil. No está seguro de una pregunta, así que se pregunta a sí mismo: "¿Cuál es la respuesta?". Diez veces. Si resulta que comete el mismo error en su cabeza ocho veces, el "voto de la mayoría" le dice que elija esa respuesta incorrecta con alta confianza. Cuanto más se lo pregunta, más convencido está de la respuesta errónea. El artículo llama a esto "contraataque" (backfire). Resulta que, en estas preguntas científicas difíciles, la confianza de la computadora es una mentirosa.

El Sueño del "Oráculo" frente a la Realidad

Los investigadores plantearon entonces una pregunta práctica: "¿Podemos construir un filtro barato y listo para decirnos cuándo votar y cuándo simplemente adivinar una vez?".

Imaginaron un "Oráculo" perfecto (un guía mágico que conoce la respuesta correcta). Si este Oráculo pudiera mirar cada problema y decir: "Para este, vota 64 veces", o "Para aquel, solo adivina una vez", los modelos podrían haber mejorado sus puntuaciones en un 14 a 17 puntos porcentuales. ¡Eso es un salto enorme!

Pero los investigadores probaron dos señales del mundo real, "libres de verificadores", para ver si podían actuar como un sustituto barato de este mágico Oráculo:

La Puerta de Acuerdo (Agreement Gate): "Si las respuestas coinciden lo suficiente entre sí, confía en el voto".
La Puerta de Entropía (Entropy Gate): "Si la computadora parece 'insegura' (alta entropía), no votes; si parece 'segura' (baja entropía), vota".

¿El resultado? Ambas puertas fallaron.
Ninguno de los métodos pudo acercarse al potencial del mágico Oráculo. De hecho, usar estas puertas no mejoró la puntuación en absoluto en comparación con simplemente votar ciegamente 64 veces. La "Puerta de Acuerdo" fue tan inútil que apenas movió la aguja (una diferencia de menos de 0.002). La "Puerta de Entropía" también fue un callejón sin salida.

¿Por qué sucedió esto?

El artículo explica que el problema es simple pero frustrante: La confianza no equivale a la corrección.

En estos problemas científicos difíciles, los modelos de computadora a menudo se quedan estancados en una respuesta incorrecta. Cuando generan 6 de respuestas, pueden generar esa misma respuesta incorrecta 50 veces. El "voto de la mayoría" ve 50 votos para la respuesta incorrecta y dice: "¡Esto debe ser correcto!". La computadora está erróneamente segura de sí misma.

Los investigadores analizaron los datos y encontraron algo curioso sobre el modelo Llama: los problemas donde las respuestas coincidían más eran en realidad los menos precisos. Cuanto más coincidía la computadora consigo misma, más probable era que estuviera equivocada. Es como un grupo de amigos que todos coinciden en la trama de una película terrible; cuanto más coinciden, más sabes que la trama es una tontería.

Lo que esto significa

El artículo concluye que, para estos problemas científicos específicos y difíciles, no puedes simplemente asumir que "pensar más" o "votar" ayudará.

La mala noticia: Si confías en el propio acuerdo de la computadora para decidir si tiene razón, podrías ser engañado. La "mayoría" suele estar equivocada.
La buena noticia: Sabemos exactamente por qué falla (la confianza no rastrea la corrección) y sabemos que los trucos simples como comprobar el acuerdo o la incertidumbre no servirán para arreglarlo.
La pregunta abierta: Los investigadores no probaron los modelos más nuevos, "nativos de razonamiento" (aquellos superinteligentes diseñados específicamente para la lógica). Dejan eso como un misterio para el futuro. ¿Quizás esos nuevos modelos no tengan este contraataque? Aún no lo sabemos.

En resumen, en las preguntas científicas más difíciles, pedirle a una computadora que vote sobre sus propias respuestas a menudo solo sirve para consolidar sus errores. Para obtener los beneficios reales, es posible que necesitemos una forma más inteligente de revisar el trabajo, no solo un voto más ruidoso.

Resumen Técnico: Cuando la Consistencia de la Auto-consistencia Resulta Contraproducente

Planteamiento del Problema

La auto-consistencia (SC, por sus siglas en inglés), una técnica donde se muestrean múltiples cadenas de pensamiento y se selecciona la respuesta de la pluralidad mediante el voto de la mayoría, se asume ampliamente como un método de bajo riesgo para mejorar el razonamiento de los Modelos de Lenguaje Grande (LLM). El heurístico prevalente sugiere que aumentar el número de muestras ( $N$ ) y realizar el voto producirá resultados al menos tan buenos como una sola muestra ( $N=1$ ).

Este artículo desafía esa suposición en tareas de razonamiento científico complejo. Investiga si el voto de la mayoría puede ser "contraproducente" (backfire)—definido como un escenario donde aumentar $N$ reduce la precisión por problema ( $mv\_gain = MV\_acc(64) - MV\_acc(1) < 0$ ). El autor plantea la hipótesis de que, en problemas difíciles, si la distribución de muestreo de un modelo se concentra en una respuesta incorrecta, las muestras adicionales simplemente consolidan el error en lugar de corregirlo. Además, el artículo pregunta si señales económicas y sin verificadores (como los niveles de acuerdo o la entropía de los tokens) pueden identificar eficazmente qué problemas deberían ser sometidos a votación y cuáles deberían omitirse para evitar este efecto contraproducente.

Metodología

El estudio emplea un diseño experimental confirmatorio y pre-registrado utilizando el benchmark GPQA Diamond, que consiste en 198 preguntas de opción múltica de nivel de posgrado en biología, química y física.

Modelos: Se evaluaron dos modelos pequeños, ajustados por instrucciones y sin capacidades de razonamiento nativas: Qwen2.5-7B-Instruct y Meta-Llama-3-8B-Instruct.
Protocolo de Muestreo: Para cada problema, se generaron $N=64$ cadenas de pensamiento con una temperatura de 0.7.
División Experimental: El conjunto de datos se dividió en 47 problemas exploratorios (usados para generar hipótesis) y 151 problemas confirmatorios. Todas las hipótesis y umbrales fueron bloqueados y etiquetados con un git-tag antes del análisis confirmatorio.
Métricas:
- $MV\_acc(N)$ : Precisión esperada del voto de la mayoría sobre $N$ muestras, estimada mediante submuestreo de Monte Carlo.
- Backfire (Contraproducción): Definido como $MV\_acc(64) < MV\_acc(1)$ .
- Puertas de Enrutamiento (Routing Gates): Se probaron dos señales sin verificadores para dirigir los problemas a un $N$ $N$ óptimo:
  1. Puerta de Acuerdo de Pluralidad: Devuelve la respuesta de la sonda si la fracción de acuerdo sobre $k$ muestras supera un umbral $\tau$ ; de lo contrario, por defecto utiliza $N=64$ .
  2. Puerta de Entropía de Tokens: Devuelve la respuesta de la sonda si la entropía media por token sobre $k$ muestras es inferior a un umbral; de lo contrario, por defecto utiliza $N=64$ .
Límites del Oráculo (Oracle Bounds): Se construyó un "oráculo de cuadrícula" para establecer un límite superior teórico. Este oráculo dirige cada problema al $N$ específico en $\{1, 2, 4, 8, 16, 32, 64\}$ que maximiza la precisión utilizando la verdad fundamental (ground truth).

Resultados Clave

1. Prevalencia de la Contraproducción (Backfire)

El voto de la mayoría reduce la precisión en la mayoría de los problemas individuales para ambos modelos, a pesar de que las métricas agregadas parecen planas o ligeramente positivas.

Qwen2.5-7B: La contraproducción ocurre en el 56.6% de los 198 problemas.
Llama-3-8B: La contraproducción ocurre en el 65.7% de los problemas.
Desglose por Dominio: La química mostró las tasas de contraproducción más altas (66.7% para Qwen, 68.8% para Llama), seguida de la física y la biología.
Agregado vs. Individual: Aunque la precisión agregada experimentó un aumento modesto (por ejemplo, Qwen de 0.342 a 0.369), esto enmascara una degradación generalizada por problema. Los peores problemas individuales perdieron aproximadamente 47 puntos de precisión, mientras que unos pocos ganaron significativamente, creando un promedio engañoso.

2. Fallo de las Puertas Sin Verificadores

El estudio probó si las señales económicas podrían recuperar el "margen de mejora" (headroom) entre el voto de presupuesto fijo ( $N=64$ ) y el límite superior del oráculo.

Potencial del Oráculo: Un oráculo de cuadrícula podría mejorar la precisión en 14 puntos (Qwen) y 17 puntos (Llama) respecto a $N=1$ .
Rendimiento de las Puertas: Ni la puerta de acuerdo ni la puerta de entropía mejoraron significativamente la precisión sobre la línea base de $N=64$ $N = 64$ fijo.
- La puerta de acuerdo capturó solo el 0.8% del margen disponible para Qwen y un -1.6% para Llama (en relación con $N=64$ ).
- La puerta de entropía también falló en recuperar un margen significativo.
Conclusión: Estas puertas no proporcionan un mecanismo para distinguir entre los problemas donde la votación ayuda y aquellos donde perjudica.

3. Mecanismo: La Confianza No Rastrea la Corrección

El artículo identifica la causa raíz del fallo: la descalibración.

Acuerdo $\neq$ Corrección: Incluso en el bin de mayor acuerdo (donde el modelo tiene mayor confianza), la respuesta de la pluralidad es correcta solo el ~52.5% de las veces para Qwen y el 28.6% para Llama.
No Monotonicidad: Para Llama, la precisión en el bin de mayor acuerdo fue en realidad menor que en el bin de menor acuerdo. Una alta auto-consistencia no se correlaciona con una alta precisión en estos problemas difíciles.
Fallo de la Señal: Debido a que la confianza (acuerdo o baja entropía) no rastrea la corrección, las puertas que dependen de estas señales no pueden enrutar el cómputo de manera efectiva.

Significado y Reivindicaciones

El artículo realiza las siguientes afirmaciones específicas respecto a su contribución:

Cuantificación de la Contraproducción: Proporciona la primera cuantificación pre-registrada y replicada que muestra que la auto-consistencia es contraproducente en la mayoría de los problemas en un benchmark científico de nivel de posgrado difícil a través de dos familias de modelos.
Fracaso de los Heurísticos Económicos: Demuestra que dos señales naturales y sin verificadores (acuerdo de pluralidad y entropía de tokens) son insuficientes para prevenir la contraproducción o recuperar las ganancias de precisión teóricas disponibles mediante el enrutamiento por problema.
Identificación del Mecanismo: Confirma que el fallo es impulsado por el hecho de que la confianza no rastrea la corrección en entradas difíciles; un alto acuerdo a menudo señala una respuesta errónea pero segura.
Pregunta Abierta: El artículo establece explícitamente que no prueba modelos "nativos de razonamiento" (aquellos con cadena de pensamiento oculta). Si estas arquitecturas escapan al fenómeno de la contraproducción sigue siendo la pregunta central abierta, ya que los intentos preliminares de evaluarlas se vieron obstaculizados por las restricciones de presupuesto de tokens.

El autor concluye que, en tareas de razonamiento difíciles, los profesionales no deben asumir que la auto-consistencia es segura, ni deben esperar que las señales internas del modelo, como el acuerdo o la entropía, indiquen cuándo es beneficiosa. Recuperar la precisión perdida probablemente requiera señales externas, como verificadores entrenados o modelos de recompensa de proceso, en lugar de depender de la propia distribución de muestreo del modelo.