Consensus is Not Verification: Why Crowd Wisdom Strategies Fail for LLM Truthfulness

El artículo demuestra que, a diferencia de los dominios verificables, las estrategias de consenso mediante múltiples muestras no mejoran la veracidad de los modelos de lenguaje en dominios no verificados debido a que los errores de los modelos están fuertemente correlacionados y la confianza autoinformada no distingue adecuadamente entre respuestas correctas e incorrectas.

Lo esencial

🗳️ La Verdad no es un "Voto Popular": Por qué pedirle a una IA que repita la respuesta no funciona

Imagina que tienes una pregunta muy difícil, como "¿Quién ganará las elecciones del año 2030?" o "¿Es verdad que los gatos pueden hablar?". No tienes un libro de respuestas ni un experto que pueda verificarlo.

Tu idea intuitiva (y muy humana) es: "Si le pregunto a mucha gente, la mayoría tendrá razón". Esto se llama la "sabiduría de las multitudes". Si 100 personas adivinan, las respuestas incorrectas se cancelan entre sí y la verdad emerge.

El paper de Denisov-Blanch y sus colegas dice: "No, eso no funciona con las Inteligencias Artificiales (IA)".

Aquí te explico por qué, usando tres analogías simples:

1. El problema de los "Gemelos con la misma idea" 🧬

Para que la sabiduría de las multitudes funcione, las personas deben cometer errores diferentes. Si Juan se equivoca porque no estudió, y María se equivoca porque no entendió la pregunta, sus errores se anulan.

Pero las IAs modernas no son como personas diferentes. Son como gemelos que crecieron en la misma casa, con los mismos libros y los mismos profesores.

• La analogía: Imagina que tienes 100 gemelos idénticos. Si le preguntas a uno: "¿Qué hora es?" y él mira su reloj roto, todos los otros 99 también mirarán sus relojes rotos (que están sincronizados) y te darán la misma hora incorrecta.
• La realidad: Las IAs se entrenan con los mismos datos de internet y se les enseña con las mismas reglas. Si una IA se equivoca en un hecho, las otras IAs (incluso las de otras empresas) suelen cometer exactamente el mismo error.

2. La trampa de la "Seguridad" vs. la "Verdad" 🎭

Cuando le pedimos a una IA que nos dé una respuesta, a veces le preguntamos: "¿Qué tan seguro estás?".

• Lo que creemos: Pensamos que si la IA dice "¡Estoy 100% segura!", debe tener la razón.
• Lo que pasa realmente: Las IAs son muy buenas para predecir qué diría la mayoría, no para saber si es verdad.
• La analogía: Imagina un actor de teatro muy talentoso. Si el guion dice que el personaje debe gritar "¡Soy el rey!", el actor lo gritará con mucha emoción y seguridad, aunque en la vida real no sea un rey. La IA es como ese actor: si la mayoría de los textos en internet dicen algo falso, la IA lo repetirá con mucha seguridad, porque su trabajo es "sonar como la gente", no "ser la verdad".

3. El experimento de los "Números Aleatorios" 🎲

Para probar que el problema no es solo que las IAs compartan información falsa, los autores hicieron una prueba loca:

• El experimento: Le dieron a las IAs una cadena de letras y números totalmente aleatoria (algo que no tiene ningún significado ni respuesta correcta) y les dijeron: "Elige la opción A, B, C o D".
• El resultado: ¡Las IAs siguieron eligiendo las mismas opciones entre sí!
• La conclusión: Esto demuestra que las IAs tienen sesgos estructurales. No es que compartan "conocimiento", es que sus "cerebros" (sus códigos) están construidos de forma tan similar que, incluso cuando no hay ninguna verdad que seguir, tienden a pensar igual.

🚫 ¿Qué significa esto para el futuro?

El paper concluye con una lección importante:

1. En matemáticas o código: Si le pides a una IA que resuelva una ecuación, puedes pedirle 100 respuestas y usar un verificador (un programa que sabe si la suma es correcta) para filtrar las malas. Aquí, pedir más respuestas sí funciona.
2. En hechos o opiniones: Si no hay un verificador externo (como en preguntas de historia, predicciones futuras o ética), pedirle a la IA que genere 100 respuestas y elegir la más popular NO sirve. Solo conseguirás una versión más fuerte y segura de un error compartido.

En resumen:
No puedes comprar la verdad simplemente "comprando más poder de computación" o preguntando a más IAs si no tienes una forma de verificar la respuesta. Las IAs actuales son excelentes imitando lo que la mayoría piensa, pero son malas descubriendo la verdad cuando nadie sabe cuál es.

Para que las IAs sean más fiables en temas complejos, no necesitamos más "votos", necesitamos herramientas externas (como buscar en internet, usar calculadoras o consultar a humanos) que actúen como jueces reales.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Consensus is Not Verification: Why Crowd Wisdom Strategies Fail for LLM Truthfulness" (El consenso no es verificación: Por qué las estrategias de sabiduría de las multitudes fallan en la veracidad de los LLM), traducido y adaptado al español.

---

Resumen Técnico: Consenso no es Verificación

1. El Problema

El escalado de la inferencia (inference-time scaling) ha demostrado ser efectivo para mejorar el rendimiento de los Modelos de Lenguaje Grande (LLM) en dominios con verificadores externos, como matemáticas y programación. En estos casos, métodos como el muestreo repetido y la votación por mayoría permiten filtrar candidatos incorrectos.

Sin embargo, surge una pregunta crítica: ¿Puede escalar la inferencia para mejorar la veracidad en dominios sin verificadores externos? (ej. conocimiento factual, razonamiento de sentido común, predicción de eventos futuros). La intuición popular, basada en la "sabiduría de las multitudes", sugiere que agregar múltiples juicios imperfectos debería recuperar la verdad. Este trabajo investiga si esta intuición se transfiere a los LLMs.

2. Metodología

Los autores evaluaron múltiples estrategias de agregación y modelos bajo condiciones estrictas para probar la hipótesis de la sabiduría de las multitudes:

• Benchmarks: Se utilizaron cinco conjuntos de datos que carecen de verificadores automáticos:
  • Com2Sense: Razonamiento de sentido común binario.
  • Humanity's Last Exam (HLE): Preguntas de nivel experto.
  • BoolQ: Respuesta a preguntas factuales binarias.
  • Predict-the-Future: Preguntas de pronóstico sobre eventos posteriores a la fecha de corte de conocimiento del modelo (verificables manualmente).
• Modelos: Cinco modelos de código abierto instruidos (Gemma-3, GPT-oss, Qwen) de diferentes tamaños (4B a 235B parámetros) y familias.
• Protocolo de Muestreo: Se generaron 25 muestras independientes por modelo y pregunta a temperaturas moderadas-altas ($T \in \{0.7, 1.0\}$) para asegurar diversidad.
• Métodos de Agregación Evaluados:
  1. Votación Mayoritaria (Majority Vote).
  2. Mayor Confianza (Highest Confidence).
  3. Voto Ponderado por Confianza.
  4. Voto Ponderado por Popularidad Predicha.
  5. Algoritmo "Surprisingly Popular" (SP): Selecciona la respuesta cuya aceptación observada excede la predicha.
• Control Negativo (Prueba de Correlación Estructural): Para descartar que la correlación se deba solo a conocimientos compartidos, se sometió a los modelos a cadenas de caracteres ASCII aleatorios sin respuesta correcta, forzándolos a elegir entre opciones (A, B, C, D).

3. Contribuciones Clave

1. Fallo Sistemático de la Agregación: Demostraron que, incluso con un costo de inferencia 25 veces mayor que el muestreo simple, las estrategias de agregación (encuestas) no mejoran consistentemente la precisión en dominios sin verificadores.
2. Correlación de Errores Estructural: Identificaron que los errores de los LLMs están fuertemente correlacionados tanto dentro de un mismo modelo (múltiples muestras) como entre diferentes familias de modelos. Esto viola la premisa fundamental de la sabiduría de las multitudes: que los errores deben ser independientes o débilmente correlacionados para cancelarse mutuamente.
3. Desacople entre Predicción Social y Verificación de Verdad: Descubrieron que los modelos son mucho mejores prediciendo qué dirá la "multitud" (consenso) que identificando qué es verdadero. Las señales internas (confianza, popularidad) rastrean el consenso esperado, no la corrección.
4. Control Negativo con Cadenas Aleatorias: En el experimento de cadenas aleatorias (donde no existe verdad alguna), los modelos mostraron una correlación positiva significativa ($\kappa \approx 0.35$). Esto prueba que la correlación surge de sesgos inductivos compartidos y similitudes arquitectónicas, no solo de conocimientos factuales compartidos.

4. Resultados Principales

• Estancamiento de la Precisión: Ningún método de agregación superó consistentemente a la línea base de una sola muestra. En el benchmark de predicción futura, todos los métodos rindieron al nivel del azar.
• Amplificación de Malentendidos: Cuando los modelos se equivocan, tienden a cometer el mismo error. La agregación no cancela el ruido, sino que amplifica los "malentendidos compartidos", aumentando la confianza colectiva sin aumentar la corrección.
• Fallo de las Señales Internas:
  • Confianza: La confianza auto-reportada está mal alineada con la precisión y se correlaciona más con el acuerdo esperado que con la verdad.
  • Algoritmo Surprisingly Popular (SP): Falló porque la estructura de "minoría experta" necesaria para que funcione no existe en las poblaciones de LLMs. De hecho, en algunos casos (como HLE), la señal SP estaba sistemáticamente anti-correlacionada con la verdad.
• Independencia Ilusoria: Variar la temperatura o usar ensembles de diferentes modelos no restauró la independencia necesaria; los errores permanecieron concentrados en las mismas respuestas incorrectas.

5. Significado e Implicaciones

El artículo establece un límite fundamental para el escalado de la inferencia:

• Dominios Verificados: La agregación funciona porque un verificador externo puede filtrar candidatos incorrectos.
• Dominios No Verificados: La agregación falla porque no hay mecanismo para distinguir el consenso correcto del consenso incorrecto. Simplemente se obtiene más consenso sobre el mismo error.

Conclusión Principal:
El consenso no es un sustituto de la verificación. Escalar la veracidad en dominios sin verificadores requiere anclaje externo (herramientas, recuperación de información, feedback humano) o intervenciones que rompan la correlación de errores (entrenamiento con objetivos o datos disjuntos). Simplemente "tirar más cómputo" (más muestras) desde un mismo prior epistémico no mejora la verdad, sino que refuerza las alucinaciones compartidas.

Este hallazgo sugiere que las futuras estrategias de seguridad y fiabilidad de los LLMs no deben depender de la auto-corrección o la agregación de consenso, sino en el desarrollo de verificadores externos robustos y mecanismos que introduzcan verdadera independencia epistémica.