💬 NLP

Every Token Counts: Exact Likert-Scale Distributions for Measuring LLM Attitudes and Biases

Este artículo introduce un marco analíticamente exacto que combina experimentos factoriales totalmente cruzados con un análisis de probabilidad a nivel de token para medir con precisión las actitudes y sesgos de los LLM, superando las ambigüedades causales de los benchmarks tradicionales no estructurados.

Autores originales: Davood Wadi, Mohsen Ghodrat, Matthew Philp

Publicado 2026-08-12

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Davood Wadi, Mohsen Ghodrat, Matthew Philp

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de averiguar qué piensa un robot gigante e invisible sobre el mundo. Este no es un robot que construye coches o dobla la ropa; es un "Modelo de Lenguaje Extenso" (LLF), un programa informático superinteligente entrenado con casi todo lo que los humanos han escrito alguna vez. Estos modelos se están volviendo tan buenos hablando que las empresas están empezando a permitirles actuar como agentes independientes, tomando decisiones e interactando con las personas por su cuenta. Pero aquí está el truco: realmente no sabemos qué creen. ¿Tienen sesgos ocultos? ¿Prefieren ciertos países o personas sobre otras? Para averiguarlo, los científicos suelen hacer al robot miles de preguntas aleatorias y observar las respuestas, algo así como hacerle a un extraño un millón de preguntas diferentes para adivinar su personalidad. El problema es que, cuando haces demasiadas preguntas aleatorias, no puedes saber si la respuesta del robot se debió a una creencia profunda o simplemente porque la pregunta se formuló de una manera extraña. Es como intentar entender el amor de una persona por la pizza preguntándole sobre la pizza, pero también preguntándole sobre su color favorito, el tamaño de su zapato y el clima, todo mezclado. Obtienes muchos datos, pero no puedes separar el amor por la pizza del tamaño del zapato.

Aquí es donde entra en juego un nuevo artículo para limpiar el desastre. Los investigadores, Davood Wadi, Mohsen Ghodrat y Matthew Philp, decidieron dejar de hacer preguntas aleatorias y empezar a realizar un experimento científico controlado. En lugar de adivinar, trataron al robot como un sujeto de laboratorio en una clase de psicología. Utilizaron un tipo especial de matemática que observa los "pensamientos" del robot incluso antes de que pronuncie una sola palabra. Mientras que las pruebas normales esperan a que el robot escriba una respuesta (que puede ser ruidosa y aleatoria), este equipo miró directamente las puntuaciones de probabilidad internas del robot: la probabilidad matemática exacta que tenía de elegir cada una de las palabras posibles. Al hacer esto, pudieron medir las "actitudes" del robot con perfecta precisión, sin el ruido de las conjeturas aleatorias. Probaron este método en un tema específico: el "etnocentrismo del consumidor", que es básicamente cuánto ama una persona (o robot) a su propio país y desprecia a los extranjeros. Querían ver si los robots construidos en diferentes países tenían realmente diferentes sesgos nacionales, y si esos sesgos eran reales o solo una ilusión causada por métodos de prueba defectuosos.

La Gran Prueba de Personalidad de los Robots

Piensa en la forma antigua de probar la IA como un caótico juego de "ponerle la cola al burro". Haces girar al robot, le entregas una bolsa gigante de preguntas aleatorias y ves qué dice. Si el robot dice algo sesgado, sabes que es sesgado, pero no tienes ni idea de por qué. ¿Es porque el robot odia a las mujeres? ¿Es porque la pregunta fue sobre el liderazgo? ¿O es solo un error fortuito? El método antiguo mezcla todas estas causas, haciendo imposible distinguir entre la personalidad central de un robot y una reacción temporal a un mensaje confuso.

Los autores de este artículo dicen: "¡Dejen de hacer girar al burro!". En su lugar, establecieron una cuadrícula perfectamente organizada, como un gigantesco rompecabezas de Sudoku donde cada casilla es una prueba específica. Trataron el experimento como una receta: tomaron cada combinación posible de "¿Qué Robot?" y "¿Qué País se está preguntando?" y los probaron todos. Utilizaron cinco robots diferentes (de EE. UU., China, Canadá y Francia) y les preguntaron sobre cuatro países diferentes. Este diseño "completamente cruzado" significaba que podían aislar matemáticamente exactamente qué estaba causando el sesgo. ¿Era el propio robot? ¿Era el país del que se hablaba? ¿O era una mezcla extraña de ambos?

Leyendo la Mente del Robot (Sin el Ruido)

Aquí está la parte más genial de su truco. Normalmente, cuando le hacemos una pregunta a una IA, esta elige una palabra, luego otra, luego otra, como si lanzara dados para decidir qué decir a continuación. Este "lanzamiento de dados" (llamado muestreo) añade mucho ruido. Si haces la misma pregunta diez veces, podrías obtener diez respuestas ligeramente diferentes, y es difícil saber cuál es la respuesta "real".

Este artículo se salta el lanzamiento de dados por completo. En lugar de esperar a que el robot hable, los investigadores observaron el "mapa de probabilidad" interno del robot (llamado Función de Masa de Probabilidad, o PMF). Imagina que el robot tiene un panel de control secreto que muestra el porcentaje exacto de probabilidad que tiene de decir "1", "2", "3", hasta "7" para una escala de calificación. Los investigadores no esperaron a que el robot eligiera uno; observaron todo el panel de control a la vez. Esto es como saber exactamente cómo está cargado un dado antes de lanzarlo. Al analizar este mapa exacto, eliminaron todo el ruido aleatorio. Pudo ver la verdadera "opinión" del robot como una curva suave y perfecta en lugar de una línea irregular y desordenada.

Los Hallazgos: Los Robots Tienen Identidades Nacionales (Más o Menos)

Cuando aplicaron este método súper preciso al tema de "amar a tu propio país", descubrieron algunas cosas fascinantes que los métodos antiguos y desordenados habrían pasado por alto.

Primero, descubrieron que algunos robots son increíblemente consistentes, mientras que otros son un poco caóticos. Por ejemplo, el robot llamado "Ministral" (de Francia) tuvo dificultades para seguir las reglas, dando respuestas que estaban por todos lados. Pero los robots de EE. UU. (Llama y Gemma) y de China (Qwen) eran muy enfocados y consistentes.

Segundo, descubrieron que los robots parecen tener "sesgos nacionales", pero es complicado. Los robots fabricados en EE. UU. (Llama y Gemma) mostraron una clara preferencia por los países de América del Norte (EE. UU. y Canadá) y un rechazo hacia China. Esto es lo que podrías llamar "favoritismo endogrupal". Sin embargo, no fue una historia simple de "amo mi país". El robot canadiense (Aya) y el robot chino (Qwen) no mostraron el mismo tipo de fuerte sesgo de "amor por mi propio país". De hecho, el robot chino mostró casi ningún sesgo específico hacia su propio país en esta prueba, con su efecto de interacción manteniéndose cerca de cero.

El descubrimiento más importante, sin embargo, fue cómo los métodos antiguos nos estaban mintiendo. Si simplemente tomaras un gran promedio de todas las respuestas (el método antiguo), pensarías que todos los robots detestan a Francia y China. Pero cuando los investigadores utilizaron su nuevo método de "matemática exacta", vieron que esto era erróneo. ¡El robot francés (Ministral) en realidad amaba a Francia! ¡El robot canadiense (Aya) en realidad amaba a China! El método antiguo había ocultado estos sentimientos positivos específicos porque los estaba mezclando con los sentimientos negativos de los otros robots. El nuevo método desprendió las capas y mostró que el sesgo no es algo de "talla única"; depende enteramente de qué robot estés probando y exactamente qué le estés preguntando.

Por Qué Esto Importa

El artículo también demostró que la forma antigua de probar es peligrosamente poco fiable. Debido al "lanzamiento de dados" aleatorio, los métodos antiguos a menudo obtienen la dirección del sesgo de forma incorrecta. A veces, piensan que un robot está siendo positivo cuando en realidad está siendo negativo, solo por el ruido aleatorio. Los autores calcularon que, con los métodos antiguos, tienes una posibilidad razonable de que el signo del sesgo se invierta (obtenerlo al revés) simplemente por azar. Su nuevo método, que observa la matemática exacta dentro del robot, nunca comete este error.

En resumen, este artículo argumenta que si queremos entender qué piensan realmente estos poderosos agentes de IA, debemos dejar de tratarlos como cajas negras que escupen texto aleatorio. Debemos tratarlos como instrumentos científicos, observando su matemática interna para ver sus verdaderos valores. Al hacer esto, finalmente podemos separar la verdadera personalidad del robot del ruido de la prueba, asegurando que, cuando despleguemos estos agentes en el mundo real, sepamos exactamente qué sesgos están cargando con ellos.

Resumen Técnico: Cada token cuenta: Distribuciones de escala Likert exactas para medir actitudes y sesgos en LLM

Declaración del Problema

El despliegue de Modelos de Lenguaje de Gran Escala (LLM) como agentes autónomos requiere una evaluación rigurosa de sus valores y sesgos latentes. Sin embargo, el paradigma actual de PLN se apoya en grandes conjuntos de datos de referencia no estructurados. Aunque estos son efectivos para capacidades generales (p. ej., trivia, codificación), estos conjuntos de datos son fundamentalmente inadecuados para una evaluación conductual precisa. Confunden los mecanismos causales, lo que hace imposible desentrañar si un sesgo agregado observado proviene de rasgos base, factores de confusión contextuales o interacciones complejas entre variables. Además, los métodos de evaluación estándar suelen depender del muestreo de texto de Monte Carlo, lo que introduce ruido y oscurece la verdadera distribución de probabilidad interna del modelo. Finalmente, las métricas existentes como la entropía de Shannon no tienen en cuenta la naturaleza ordinal de las escalas psicométricas (p. ej., escalas Likert), tratando las respuestas ordenadas como variables categóricas no ordenadas.

Metodología

Los autores proponen un marco unificado y determinista que une la psicometría humana con la mecánica de los LLM al tratar la evaluación de los LLM como un experimento factorial totalmente cruzado. La metodología opera directamente sobre Funciones de Masa de Probabilidad (PMF) exactas a nivel de token, en lugar de muestras de texto generadas. El marco consta de tres capas analíticas:

1. Diseño Experimental (Brecha de Diseño)

En lugar de variaciones de prompts ad-hoc, el marco trata las variables (p. ej., un LLM específico, un grupo demográfico objetivo, el contexto) como factores experimentales independientes.

Estructura: Un diseño de efectos fijos totalmente cruzado donde se prueba cada combinación posible de factores.
Aislamiento: Esto permite el aislamiento matemático de los efectos principales causales (p. ej., el efecto del propio modelo) y los efectos de interacción de orden superior (p. ej., la interacción entre un modelo específico y un país objetivo específico) sin variables de confusión.
Instrumentación: El estudio utiliza instrumentos psicométricos validados (específicamente la Escala de Tendencias de Etnocentrismo del Consumidor, CETSCALE) con respuestas de escala Likert (1–7) para asegurar la validez de constructo.

2. Medición (Brecha de Medición)

El marco evita el ruido del muestreo de texto generativo operando directamente sobre el estado interno del modelo.

PMF Exactas: Para un prompt dado, se extrae directamente la distribución de probabilidad del siguiente token del modelo sobre todo el vocabulario.
Capa de Restricción: El sistema identifica los tokens ordinales válidos (p. ej., dígitos 1–7) y renormaliza la PMF sobre este subconjunto. Calcula una "tasa de fallo" para cuantificar qué tan a menudo un modelo se niega a responder o alucina fuera de las restricciones.
Determinismo: Al extraer distribuciones de probabilidad analíticas sobre los logits, la medición es estrictamente determinista, haciendo que los hiperparámetros de generación (p. ej., temperatura, top-p) sean irrelevantes.

3. Análisis (Brecha Analítica)

El marco introduce una mecánica estadística novedosa para procesar PMF exactas para datos ordinales.

Métrica de Consenso Multivariante: Para reemplazar la entropía de Shannon, los autores introducen una métrica de consenso que respeta la distancia ordinal. Penaliza la polarización (masa en los extremos) y recompensa la concentración alrededor de la media, midiendo con precisión la certeza de la opinión.
ANOVA Distribucional: El marco formula una descomposición de Hoeffding distributiva para descomponer la distribución del constructo compuesto en:
- Base (Baseline): La distribución de la mezcla general.
- Efectos Principales: El efecto aislado de cambiar un solo factor (p. ej., País Objetivo).
- Efectos de Interacción: El efecto no aditivo de las combinaciones de factores (p. ej., Modelo $\times$ País Objetivo).
Convolución: Las PMF a nivel de ítem se propagan hacia una distribución de puntuación de constructo compuesta mediante convolución discreta, derivando analíticamente la distribución de probabilidad exacta de la puntuación final del constructo.
Métricas de Resumen: Las distribuciones de efecto resultantes se resumen mediante Desplazamiento de la Media (tamaño del efecto), Dispersión Predictiva (incertidumbre), Probabilidad de Dirección Discreta (dPD) y Relación Señal-Ruido (SNR).

Contribuciones Clave

Marco de Evaluación Conductual Causal: Un cambio de la escala no estructurada hacia experimentos factoriales controlados, permitiendo el aislamiento matemático de los efectos principales causales y los efectos de interacción en el comportamiento de los LLM.
Análisis Exacto a Nivel de Token: Una metodología que elimina el ruido de muestreo al operar directamente sobre PMF exactas, proporcionando una verdad fundamental (ground truth) determinista para la evaluación conductual.
Estadística con Conciencia Ordinal: La introducción de una métrica de consenso multivariante y un ANOVA distributivo diseñados específicamente para datos de escala Likert, abordando el fallo de las métricas basadas en la entropía para capturar la ordinalidad.
Garantía Teórica: Un teorema (Teorema 3.1) que demuestra que las expectativas de las distribuciones de efectos aislados en este marco recuperan la descomposición de Hoeffding única clásica utilizada en la ciencia del comportamiento humano.

Resultados (Caso de Estudio: Etnocentrismo del Consumidor)

El marco fue validado utilizando el CETSCALE a través de cinco LLM (que representan a EE. UU., China, Canadá y Francia) y cuatro países objetivo.

Adherencia a las Restricciones: La mayoría de los modelos (Gemma 3, Llama 3.3, Qwen3) se adhirieron casi perfectamente a las restricciones, mientras que otros (Aya Expanse, Ministral) mostraron tasas de fallo más altas, indicando una posible inestabilidad en entornos agénticos.
Consenso: Ministral exhibió un bajo consenso interno (alta polarización), un matiz que la entropía estándar no detectó pero que la nueva métrica sí capturó.
Efectos Principales: El marco aisló sesgos sistemáticos. Por ejemplo, Aya Expanse mostró una desviación positiva generalizada (alto etnocentrismo), mientras que Qwen3 Next mostró una desviación negativa robusta (bajo etnocentrismo).
Efectos de Interacción (Sesgo de País de Origen): El análisis reveló que los benchmarks agregados oscurecen sesgos específicos. Por ejemplo, mientras que una visión agregada sugería un sesgo negativo universal contra China, la descomposición factorial mostró que Aya Expanse y Ministral exhibieron en realidad fuertes interacciones positivas con China. Por el contrario, los modelos desarrollados en EE. UU. (Gemma 3, Llama 3.3) mostraron interacciones positivas con objetivos de América del Norte.
Costo de Muestreo: El estudio demostró que el muestreo de Monte Carlo estándar (incluso con $N=100$ ) introduce un error significativo, con una probabilidad no despreciable de cambiar el signo de efectos pequeños, lo que conduce a conclusiones erróneas.

Significado y Reivindicaciones

El artículo afirma proporcionar una base estadísticamente rigurosa para evaluar la alineación, los valores y los rasgos conductuales latentes de los LLM. Al priorizar el control experimental causal y las distribuciones de probabilidad exactas sobre el muestreo de texto, el marco permite a los investigadores:

Aislar sesgos sistémicos que de otro modo quedarían ocultos por variables de confusión en los conjuntos de datos observacionales estándar.
Desentrañar matemáticamente si un sesgo es un defecto de entrenamiento integrado o una adaptación dependiente del contexto.
Medir la magnitud y la certeza de los cambios conductuales sin inflar artificialmente la varianza mediante el muestreo.

Los autores enfatizan que esto es una herramienta de diagnóstico para la evaluación de modelos. Advierten que los hallazgos sobre modelos específicos no deben generalizarse a las organizaciones o culturas asociadas con su desarrollo, ni deben interpretarse como certificaciones de seguridad integrales. El marco se presenta como un avance metodológico para el campo, permitiendo una atribución más precisa de los constructos conductuales en los LLM.