Production and Perception in LLMs: A Token Probability Approach

Resumen Técnico: Producción y Percepción en LLMs: Un Enfoque de Probabilidad de Tokens

Planteamiento del Problema
En la psicolingüística humana, existe una asimetría bien documentada entre la producción del lenguaje (codificar un mensaje con una intención) y la percepción (inferir el significado a partir del contexto). Sin embargo, no está claro si los Grandes Modelos de Lenguaje (LLMs) exhiben una distinción funcionalmente análoga. A diferencia de las arquitecturas anteriores de codificador-decodificador que mantenían vías separadas para la entrada y la salida, los contemporáneos LLMs de solo decodificador dependen de un único mecanismo subyacente —la predicción del siguiente token— tanto para procesar la entrada como para generar la salida. Esta simetría arquitectónica sugiere que los LLMs podrían carecer de una distinción fundamental entre producción y percepción. Además, estudios conductuales previos que intentaron medir esta distinción mediante el uso de prompting metalingüístico (por ejemplo, pedir a los modelos que juzguen o califiquen un texto) han arrojado resultados inconsistentes, fallando a menudo en replicar las asimetrías humanas.

Metodología
Para abordar estas limitaciones, los autores proponen un cambio metodológico: medir la distinción producción-percepción directamente a través de las distribuciones de probabilidad de los tokens, en lugar de depender de los juicios metalingüísticos generados. Citando a Hu y Levy (2023), los autores argumentan que las respuestas evaluativas inducidas por prompts divergen de las probabilidades subyacentes del modelo; por lo tanto, la medición directa de la probabilidad ofrece una señal más limpia del estado interno del modelo.

El diseño experimental consta de los siguientes pasos:

1. Generación: Un modelo base (Llama-3.1-8B) genera una secuencia de tokens (poemas sobre 1,089 temas de animales) bajo un prompt de producción primario (por ejemplo, "Por favor, escribe un poema sobre X"). Se registran las probabilidades de los tokens ($p_0$) durante esta generación.
2. Re-calificación (Control): La misma secuencia de tokens generada se evalúa nuevamente, token por token, bajo un prompt de producción reformulado (por ejemplo, "Me gustaría que escribieras un poema sobre X"). Esto produce las probabilidades ($p_1$) para la condición Producción–Producción (prod-prod).
3. Re-calificación (Experimental): La misma secuencia de tokens es reevaluada bajo un prompt orientado a la percepción (por ejemplo, "Aquí hay un poema sobre X, por favor califícalo"). Esto produce las probabilidades ($p_2$) para la condición Producción–Percepción (prod-perc).
4. Análisis: El estudio cuantifica la divergencia entre $p_0$ y $p_1$ frente a $p_0$ y $p_2$ utilizando:
   • Correlaciones de Pearson por poema.
   • Distancia absoluta media por poema ($|p_0 - p_1|$ frente a $|p_0 - p_2|$).
   • Análisis temporal modelando la decadencia de estas distancias sobre los primeros 100 tokens mediante una función de decaimiento exponencial ($y = ae^{-bx} + c$).

El experimento se replicó a través de múltiples variaciones de prompts (4 de producción, 3 de percepción) y se extendió a cuatro modelos adicionales de pesos abiertos (EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3 y Qwen2.5-7B-Instruct), cubriendo tanto variantes base como ajustadas por instrucciones (instruction-tuned).

Resultos Clave

• Divergencia Sistemática: El estudio encuentra una divergencia constante y sustancial en las probabilidades de los tokens cuando el encuadre cambia de producción a percepción. La distancia absoluta media en la condición prod-perc es aproximadamente 1.8× mayor que en la condición prod-prod en el modelo principal (Llama-3.1-8B), con intervalos de confianza del 95% que no se solapan.
• Especificidad al Encuadre: La condición de control prod-prod muestra correlaciones cercanas al techo, lo que indica que el simple reformulamiento del prompt no altera significativamente las probabilidades. La divergencia observada es específica del cambio en el encuadre comunicativo (productor frente a intérprete).
• Dinámicas Temporales: El efecto es más fuerte al inicio de la secuencia. La divergencia decae a medida que se acumula el contexto generado, siguiendo un patrón de decaimiento exponencial. Sin embargo, la magnitud inicial de la divergencia en la condición prod-perc es aproximadamente 8 veces mayor que en la condición prod-prod, y las curvas no convergen totalmente dentro de la ventana de 100 tokens para todos los modelos.
• Generalizabilidad: La asimetría se replica en todos los cinco modelos probados (tanto base como ajustados por instrucciones), con distancias prod-perc que superan a las distancias prod-prod por factores que oscilan entre 1.53× y 2.11×. Esto sugiere que el efecto no es un artefacto de una arquitectura de modelo específica o de la ausencia de alineación (RLHF).

Significancia y Reivindicaciones
El artículo reivindica varios hallazgos significativos:

1. Distinción Funcional en Arquitecturas de Solo Decodificador: A pesar del diseño de parámetros compartidos y de solo decodificador que teóricamente imposibilita vías separadas de producción y percepción, el encuadre del prompt por sí solo es suficiente para inducir una asimetría funcionalmente significativa en las distribuciones de probabilidad. Esto desafía la suposición de que los LLMs tratan el procesamiento de entrada y salida de manera idéntica en todos los contextos.
2. Validación Metodológica: El estudio valida el uso de mediciones directas de la probabilidad de los tokens sobre el prompting metalingüístico para investigar distinciones de tipo cognitivo en los LLMs. Al evitar la generación de texto evaluativo, el método aísla el efecto del encuadre en las representaciones internas del modelo sin confundirlo con la capacidad del modelo para "hablar sobre" el lenguaje.
3. Robustez del Efecto: La distinción producción–percepción no es un artefacto de la redacción específica del prompt o de una sola familia de modelos; persiste a través de diferentes tamaños de modelos, arquitecturas (base vs. ajustada por instrucciones) y combinaciones de prompts.

Limitaciones
Los autores señalan que el estudio está limitado al rango de 7–9 mil millones de parámetros y a un único dominio creativo (poesía). Reconocen que, si bien existe una diferencia estadísticamente fiable, la magnitud de esta diferencia en relación con el comportamiento humano sigue siendo una cuestión interpretativa abierta. Además, el estudio utilizó probabilidades de la capa final; trabajos futuros podrían investigar si esta divergencia es uniforme en las capas internas o si se concentra en profundidades específicas.