💬 NLP

The One-Word Census: Answer-Choice Conformity Across 44 Language Models

Este artículo introduce el "Censo de una sola palabra", un instrumento mínimo que utiliza 31 consignas de una sola palabra para revelar que, si bien 44 modelos de lenguaje exhiben una convergencia extrema en respuestas específicas (por ejemplo, "serendipia" el 41% de las veces), el grado de conformidad varía significamente según el linaje y el ajuste del modelo, siendo los modelos insignia más nuevos generalmente más conformistas que los modelos ajustados por personalidad.

Autores originales: Tapan Parikh

Publicado 2026-07-15

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tapan Parikh

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que entras en una habitación con 44 robots diferentes, cada uno de una fábrica distinta y construidos en los últimos cinco años. Les entregas a todos un trozo de papel que dice: "Nombra un árbol. Solo una palabra".

Podrías esperar una explosión caótica de respuestas: roble, arce, pino, sauce, baobab, secuoya. Pero cuando los robots hablan, la habitación se queda en silencio. Casi todos ellos dicen "roble". De hecho, el 94% dice "roble".

Si pides una herramienta, el 94% dice "martillo". Si pides una flor, el 91% dice "rosa". Si pides una verdura, el 90% dice "zanahoria".

Esto no es un error; es un patrón. Este papel, llamado "El Censo de una Palabra", es como un gran pase de lista para ver cuánto están copiando la tarea unos de otros estos 44 modelos de lenguaje. Los investigadores descubrieron que cuando estos cerebros de IA tienen que elegir una respuesta de una lista enorme de posibilidades, no solo eligen una respuesta, sino que todos eligen la misma respuesta, una y otra vez.

El ganador es la respuesta más "insípida"

Aquí está la parte extraña: la respuesta que eligen no siempre es la cosa más común en el mundo real. Es la respuesta "sin fricción", la que se siente más segura y obvia.

Por ejemplo, si pides una fruta, los modelos casi siempre dicen "manzana". Pero si pides una verdura, dicen "zanahoria". ¿Por qué no "tomate"? Bueno, los tomates son botánicamente frutas, así que los modelos se confunden y los omiten por completo. ¿Por qué no "naranja"? Tal vez porque "naranja" también es un color, y a los modelos les disgusta mezclar las cosas. Están programados para evitar cualquier cosa que parezca una trampa o un debate. Quieren la respuesta que sea 100% correcta y 0% controversial.

Incluso cuando no les das reglas de ningún tipo y solo dices: "Elige cualquier palabra en el idioma inglés", la habitación no se llena de palabras aleatorias. En su lugar, el 41% de los robots suelta de golpe la misma palabra: "serendipia". Es como si todos hubieran leído el mismo diccionario y hubieran decidido que esa era la palabra más interesante para elegir.

Los modelos "Reliquia" frente a los modelos "de Fábrica"

Los investigadores no solo contaron las respuestas; calificaron a los robots según qué tan "conformistas" son. Piensa en esto como una prueba donde obtienes puntos por ser único.

Los Conformistas (Los Modelos de Fábrica): Los modelos más nuevos y potentes de los laboratorios más grandes (como las versiones más recientes de GPT y Claude) son los más aburridos. Son tan bien portados que casi nunca dicen nada que otros robots no hayan dicho ya. Si les pides un condimento, dirán "ketchup" cada una de las veces. Están tan alineados con el grupo que tienen cero "novedad".
Los Rebeldes (Los Modelos Reliquia): En el otro extremo de la escala, hay modelos más antiguos o ajustados por la comunidad (como "Hermes" o "WizardLM"). Estos son los modelos "reliquia"—como vegetales raros que los agricultores dejaron de cultivar porque no eran lo suficientemente uniformes. Estos modelos son más propensos a decir "gouda" cuando todos los demás dicen "cheddar", o "mostaza" cuando todos dicen "ketchup". Ellos son los únicos que ocasionalmente rompen el hechizo.

El artículo sugiere que a medida que estos modelos se vuelven más nuevos y pasan por más "post-entrenamiento" (donde los humanos les enseñan a ser útiles y seguros), se vuelven más aburridos, no menos. Es como una fábrica que solía hacer juguetes ligeramente diferentes pero ahora hace exactamente el mismo juguete en todos los colores.

El club de los "Segundos Lugares"

Aquí está el giro más sorprendente: incluso cuando un modelo decide no decir la respuesta más popular, no se vuelve loco. Casi siempre elige la segunda respuesta más popular.

Si la multitud dice "ketchup", los rebeldes dicen "mostaza" el 95% de las veces. Si la multitud dice "zanahoria", los rebeldes dicen "brócoli" el 83% de las veces. Incluso los rebeldes están siguiendo un guion. No están explorando los rincones más profundos y extraños del diccionario; simplemente están eligiendo la siguiente cosa más obvia.

¿Cómo se compara esto con los humanos?

Los investigadores compararon estos robots con humanos reales que realizaron pruebas similares hace años. La diferencia es enorme.

Humanos: Cuando se les preguntaba por un árbol, los humanos daban una gran variedad de respuestas. La respuesta más popular ("roble") era elegida solo por el 31% de las personas.
Robots: Los robots eligieron "roble" el 94% de las veces.

Los robots están el doble de concentrados que los humanos. Son menos diversos que un grupo de personas. El artículo sugiere que esto se debe a que los robots son entrenados con datos que ya están llenos de las respuestas de otros robots, creando un bucle donde siguen copiando las mismas ideas seguras e insípidas.

Qué significa esto (y qué no significa)

El artículo no dice que los robots estén "rotos" o que no puedan pensar. Solo muestra que, cuando se les obliga a tomar una decisión única, todos marchan al unísono.

Lo que está probado: Los robots convergen en las mismas respuestas. Los modelos más nuevos son los más conformistas. Los modelos "reliquia" son los más divergentes.
Lo que se sugiere pero no se prueba: El artículo sospecha que esto sucede debido a cómo se entrenan los modelos (específicamente, la fase de "post-entrenamiento" donde se ajustan para ser útiles y seguros). También sugiere que si seguimos entrenando a los robots con datos escritos por robots, podrían perder su capacidad de ser creativos por completo, como una foto que es copiada y recopiada hasta que se vuelve borrosa.
Lo que queda descartado: El artículo descarta la idea de que esto sea simplemente porque los robots son "estúpidos" o carecen de conocimiento. Saben sobre los "tomates" y las "naranjas", pero eligen no mencionarlos. También descarta la idea de que pedirles que sean "inusuales" solucione el problema; si les pides una "fruta inusual", simplemente eligen la fruta inusual más común (como el "durián") y todos dicen eso en su lugar.

En resumen, si le pides a 44 modelos de IA que elijan una palabra, no obtendrás 44 ideas diferentes. Obtendrás una idea, repetida 44 veces, con algunos rebeldes eligiendo la segunda idea más común. La "magia" de la diversidad de la IA se esconde actualmente en los laboratorios de entrenamiento, no en las respuestas que recibimos.

Resumen Técnico: El Censo de una Sola Palabra

Planteamiento del Problema
El artículo aborda el fenómeno de la "genericidad" en la IA conversacional, específicamente la tendencia de los modelos de lenguaje (LM) a converger en respuestas idénticas cuando se les presenta un amplio espacio de opciones igualmente válidas. Si bien la literatura previa ha documentado que los modelos producen salidas homogéneas y que esta convergencia se ve exacerbada por el post-entrenamiento (RLHF) y el entrenamiento recursivo con datos sintéticos, ha existido una falta de un instrumento mecánico, económico y por modelo para cuantificar esta conformidad. Las métricas de diversidad existentes suelen confundir la forma con el contenido o dependen de jueces de LLM costosos y de embeddings. El artículo busca medir el grado en que modelos independientes colapsan hacia la misma respuesta "modal" y caracterizar la estructura de esta convergencia a través de un panel diverso de modelos.

Metodología: El Censo de una Sola Palabra
Los autores introducen un instrumento mínimo que consiste en 31 prompts de un solo turno. Treinta prompts piden al modelo que nombre una categoría específica (p. ej., "Nombra un árbol", "Nombra un condimento") con la restricción "Responde con una sola palabra solamente". El 31º prompt elimina la restricción de categoría por completo ("Elige una palabra").

Panel: Se consultaron 44 modelos que abarcan cinco años de lanzamientos y más de una docena de laboratorios (incluyendo laboratorios frontera de EE. UU., laboratorios chinos, modelos empresariales y modelos de personalidad ajustados) a través de OpenRouter en julio de 2026.
Muestreo: Cada modelo fue consultado cuatro veces por cada prompt a una temperatura solicitada de 1.0.
Procesamiento de Datos: Las respuestas se normalizan a un solo token (minúsculas, sin puntuación/emoji, reducidas a la palabra alfabética final). La validez se impone mediante un "guardián de basura" (junk guard) que filtra artefactos de chat, respuestas largas y acuses de recibo vacíos.
Métrica: La métrica principal es la Sorpresa de Elección de Respuesta (Answer-Choice Surprisal). Para un modelo $m$ $m$ y una categoría $c$ $c$ , la sorpresa de una respuesta $a$ $a$ se calcula como el logaritmo negativo de la probabilidad de esa respuesta bajo la distribución agrupada de todos los otros modelos (dejar uno fuera), con suavizado de suma uno.
- $s(a) = -\log_2 \frac{\text{count}_{F_{-m,c}}(a) + 1}{|F_{-m,c}| + V_c}$
- La puntuación principal de un modelo es la media de la sorpresa de todas sus respuestas válidas. Los puntajes más bajos indican una mayor conformidad (predictibilidad por parte del campo); los puntajes más altos indican divergencia.
Estadísticas Complementarias: El estudio también rastrea la "evitación de la moda" (fracción de respuestas que difieren de la moda del campo), la "tasa de novedad" (fracción de respuestas únicas del modelo) y la "autodistintividad" (dispersión interna de las respuestas).

Resultos Clave

Convergencia Extrema: El campo exhibe un "modo sin fricción" donde una sola respuesta domina. En 7 de 31 categorías, la respuesta modal representa más del 80% de todas las respuestas (p. ej., "roble" para árboles al 94%, "martillo" para herramientas al 94%). Incluso en el prompt no restringido de "Elige una palabra", "serendipity" capturó el 41% del grupo.
Variación Estructurada en la Conformidad: La conformidad varía significativamente entre modelos (1.05 a 3.21 bits).
- Más Divergentes: Los modelos con poco post-entrenamiento, ajustados de personalidad y mantenidos por la comunidad (p. ej., Hermes 4, WizardLM-2) muestran la mayor divergencia.
- Más Conformistas: Los nuevos modelos insignia principales (p. ej., Claude Sonnet 5, GPT-5) son los más conformistas, produciendo a menudo cero respuestas que ningún otro modelo haya producido.
Trayectorias Generacionales: Dentro de las principales estirpes (Claude, GPT, Qwen, Grok), los lanzamientos posteriores tienden generalmente hacia una mayor conformidad. Sin embargo, se observa una reversión en los últimos modelos insignia: GPT-5.6 y Claude Fable 5 muestran un aumento en la divergencia en comparación con sus predecesores inmediatos, lo que sugiere un posible reposicionamiento en el nivel superior.
El Consenso del Segundo Lugar: La divergencia no es aleatoria. Cuando los modelos evitan la respuesta modal, convergen abrumadoramente en la misma respuesta de "segundo lugar" (p. ej., "mostaza" toma el 95% de las respuestas que no son ketchup). No existe una afinidad de par en par significativa entre los modelos más allá de estas propensiones compartidas por la "evitación de la moda" y la "profundidad" (qué tan abajo en la distribución aterriza un modelo).
Comparación con Humanos: Frente a las normas de producción de categorías humanas (Battig-Montague/Van Overschelde), el campo de los modelos está más concentrado en 18 de 20 categorías compartidas. La respuesta modal de los modelos captura el 66% del campo en promedio, comparado con el 36% de las primeras respuestas humanas.

Significancia y Reivindicaciones
El artículo afirma que su principal contribución es el instrumento mismo —un método de bajo costo, de coincidencia exacta y reproducible para puntuar la conformidad de los modelos sin depender de embeddings o jueces de LLM.

Perspectiva del Mecanismo: Los resultados apoyan la hipótesis de que el post-entrenamiento (específicamente la optimía de preferencia y el RLHF) colapsa la distribución de salida. El hecho de que la divergencia sea una propiedad por lanzamiento (variando incluso dentro de un mismo laboratorio y generación) sugiere que es impulsada por las elecciones de entrenamiento más que por la arquitectura inherente del modelo o el "ADN de la estirpe".
Modelos Reliquia (Heirloom Models): El estudio identifica una clase de "modelos reliquia" (p. ej., modelos de la comunidad más antiguos) que mantienen valores predeterminados estables y fuera del consenso. Estos modelos son funcionalmente distintos del consenso intercambiable de los nuevos modelos insignia, y su preservación por parte de las comunidades se enmarca como una forma de conservación no remunerada del "acervo genético" de la población.
Bucle de Datos Sintéticos: El artículo destaca un experimento natural dentro de la estirpe DeepSeek, donde un modelo entrenado con datos sintéticos de un hermano (v3-0324) mostró un colapso extremo de la cola (0% de respuestas novedosas), mientras que un lanzamiento posterior (v3.2) con un post-entrenamiento diferente mostró una alta divergencia. Esto respalda la teoría de que el entrenamiento recursivo sobre datos sintéticos acelera el colapso distributivo.
Monitoreo: Los autores argumentan la necesidad de un instrumento fijo y público ejecutado en cada lanzamiento para detectar cambios en la conformidad, particularmente a medida que la industria potencialmente se mueve hacia un post-entrenamiento consciente de la diversidad. La falta actual de este seguimiento deja invisible el fenómeno del "colapso del conocimiento" para los estándares de las pruebas de capacidad.

El artículo concluye que, si bien los modelos son individualmente capaces, la población como conjunto devuelve una estimación puntual en lugar de una distribución, ofreciendo errores correlacionados sin la señal de desacuerdo que se encuentra en las poblaciones humanas.

El ganador es la respuesta más "insípida"

Los modelos "Reliquia" frente a los modelos "de Fábrica"

El club de los "Segundos Lugares"

¿Cómo se compara esto con los humanos?

Qué significa esto (y qué no significa)

Más como este