💬 NLP

Language Model Maps for Prompt-Response Distributions via Log-Likelihood Vectors

Los autores proponen un marco que representa modelos de lenguaje mediante vectores de verosimilitud logarítmica para construir mapas donde las distancias aproximan la divergencia KL, permitiendo analizar la estructura global, el rendimiento en tareas y los efectos composicionales de las modificaciones en los prompts.

Autores originales: Yusuke Takase, Momose Oyama, Hidetoshi Shimodaira

Publicado 2026-03-20

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yusuke Takase, Momose Oyama, Hidetoshi Shimodaira

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que los Modelos de Lenguaje (como los que usas para chatear o escribir) son como grandes orquestas. Cada orquesta tiene su propio estilo, instrumentos y forma de tocar. Hasta ahora, si queríamos compararlas, teníamos que escucharlas tocar una canción completa (generar texto) y decir: "¡Esta suena mejor!". Pero eso es subjetivo y depende de la canción que elijas.

Este paper propone una forma nueva y muy inteligente de comparar a estas orquestas sin necesidad de escucharlas tocar una sola nota.

Aquí tienes la explicación sencilla, usando analogías:

1. El Mapa de los "Gustos" (El Espacio Log-Likelihood)

Imagina que tienes un mapa gigante. En este mapa, cada modelo de IA es un punto.

La vieja forma: Antes, mirábamos qué canciones (textos) les gustaban tocar en general, sin importar quién les pidiera la canción. Era como decir: "A esta orquesta le gusta tocar rock".
La nueva forma (de este paper): Ahora, miramos qué pasa cuando alguien les da una pista específica (un "prompt" o pregunta).
- Si le preguntas: "¿Cuál es la capital de Japón?", el modelo no solo "sabe" la respuesta, sino que tiene una probabilidad matemática de qué tan seguro está de que la respuesta es "Tokio".
- Los autores toman esa "seguridad" (llamada log-verosimilitud) para miles de preguntas y respuestas diferentes y crean un vector (una lista de números).
- La magia: Si dos modelos están muy cerca en este mapa, significa que piensan de forma muy similar cuando les hacen preguntas. Si están lejos, piensan de forma muy distinta. La distancia entre ellos es casi igual a la diferencia real en su "mente".

2. El "Desplazamiento" por las Pistas (Prompt Shift)

Esta es la parte más divertida. Imagina que el modelo es un barco en este mapa.

Si le das una pregunta normal, el barco está en un punto.
Si le dices: "Piensa paso a paso" (una técnica para que piense más), el barco se mueve a otro punto del mapa.
Si le dices: "Repite la pregunta", el barco se mueve a otro punto.

Lo increíble que descubrieron es que estos movimientos son aditivos, como sumar vectores en física.

Si el movimiento por "Piensa paso a paso" es un vector rojo, y el movimiento por "Repetir" es un vector azul...
Entonces, si le dices "Piensa paso a paso Y repite la pregunta", el barco se mueve casi exactamente a la suma de los dos vectores (rojo + azul).
Para qué sirve: Esto nos permite predecir cómo se comportará un modelo con una instrucción compleja, solo sumando los efectos de las instrucciones simples. ¡Es como predecir el clima sumando la lluvia y el viento!

3. El Filtro de "Ruido" (Vectores PMI)

A veces, los modelos tienen "gustos" muy fuertes por ciertas palabras, independientemente de la pregunta. Es como un pianista que siempre toca la misma nota al principio de cualquier canción, sin importar la melodía. Eso ensucia el mapa.

Para limpiar esto, los autores crearon un nuevo filtro llamado PMI (Información Mutua Puntual).

Imagina que restas la "música de fondo" (lo que el modelo diría si no le preguntaras nada) de la "música de la respuesta" (lo que dice cuando le preguntas).
Lo que queda es solo la relación entre la pregunta y la respuesta.
Resultado: En este mapa "limpio", los modelos que fueron entrenados con los mismos datos se agrupan muy bien, incluso si sus arquitecturas son diferentes. Es como si pudieras ver el "sabor" de los ingredientes (los datos de entrenamiento) sin confundirlo con el tipo de olla (la arquitectura).

¿Por qué es importante todo esto?

Comparación justa: Ahora podemos comparar miles de modelos en un solo mapa y ver quiénes son "primos" (parecidos) y quiénes son "extraños".
Predicción: Podemos predecir cómo cambiará un modelo si le cambiamos la instrucción, sin tener que volver a entrenarlo o probarlo mil veces.
Entender el entrenamiento: Podemos ver qué datos "comió" el modelo basándonos en cómo reacciona a las preguntas, incluso si no sabemos qué datos usaron originalmente.

En resumen:
Los autores crearon un GPS para la mente de las IAs. En lugar de ver qué dicen (lo cual puede ser caótico y aleatorio), miran cómo piensan matemáticamente ante una pregunta. Esto nos permite ver patrones, predecir cambios y entender mejor cómo funcionan estas máquinas, todo sin necesidad de escucharlas hablar.

Resumen Técnico: Mapas de Modelos de Lenguaje para Distribuciones Prompt-Respuesta

1. Planteamiento del Problema

La diversidad creciente de los Grandes Modelos de Lenguaje (LLMs) ha generado una necesidad urgente de marcos que permitan comparar sistemáticamente sus comportamientos. Los enfoques existentes presentan limitaciones:

Métodos basados en pesos internos: Son difíciles de aplicar entre arquitecturas diferentes.
Métodos basados en textos generados: Son sensibles a la aleatoriedad de la generación y a la variabilidad de las representaciones de embeddings.
Métodos previos de vectores de verosimilitud (Oyama et al., 2025b): Se centraban en distribuciones incondicionales ( $p(y)$ ), lo que no captura adecuadamente el comportamiento de los LLMs como modelos condicionales que definen una distribución de respuesta $p(y|x)$ dada una entrada $x$ .

El objetivo de este trabajo es llenar esta brecha proponiendo un método para comparar LLMs basándose en sus distribuciones condicionales sin necesidad de generar texto, utilizando un espacio compartido donde las distancias tengan una interpretación probabilística clara.

2. Metodología

El enfoque propuesto representa a cada modelo de lenguaje mediante vectores de verosimilitud condicional sobre un conjunto predefinido de pares prompt-respuesta.

A. Representación Vectorial:
Para un conjunto de datos $D = \{(x_s, y_s)\}_{s=1}^N$ (pares de prompt y respuesta):

Vector de Verosimilitud Condicional ( $\ell_i$ ): Se define como el vector de log-verosimilitudes que el modelo $i$ asigna a las respuestas dadas las prompts:
$\ell_{is} = \log p_i(y_s | x_s)$
Este vector captura la probabilidad de la respuesta condicionada a la entrada específica.
Vector de Información Mutua Puntual (PMI) ( $\Delta \ell_i$ ): Para aislar la dependencia entre la prompt y la respuesta y reducir la influencia de la distribución incondicional, se propone restar la log-verosimilitud incondicional:
$\Delta \ell_{is} = \log p_i(y_s | x_s) - \log p_i(y_s)$
Este valor coincide con la Información Mutua Puntual (PMI), interpretándose como la fuerza de la relación entre $x$ e $y$ .

B. Fundamento Teórico (Divergencia KL):
El artículo demuestra teóricamente que la distancia euclidiana al cuadrado entre estos vectores centrados aproxima la Divergencia de Kullback-Leibler (KL) promedio entre las distribuciones condicionales de dos modelos sobre la distribución de entrada:
$KL(p_i, p_j) \approx \frac{1}{2N} \| \xi_i - \xi_j \|^2$
Donde $\xi$ es el vector centrado. Esto permite que las distancias en el espacio vectorial sean interpretables como diferencias en el comportamiento probabilístico de los modelos.

C. Análisis de Desplazamiento por Prompt (Prompt Shift):
El método permite estudiar cómo cambia la posición de un modelo en el espacio cuando se modifica la prompt (ej. añadir "Let's think step by step" o repetir la prompt). Se define un vector de desplazamiento ( $v$ ) para cada transformación.

3. Contribuciones Clave

Marco de Mapas Condicionales: Propone un framework para visualizar y comparar LLMs basado en vectores de log-verosimilitud condicional, extendiendo los mapas de modelos anteriores a distribuciones condicionales.
Composicionalidad Aditiva de Desplazamientos: Descubre que los efectos de las modificaciones de prompts (como añadir CoT o repetir la entrada) se combinan de manera aproximadamente aditiva en el espacio de vectores. Es decir, el desplazamiento de una transformación compuesta es la suma de los desplazamientos individuales ( $v_{rep+cot} \approx v_{rep} + v_{cot}$ ).
Vectores PMI para Análisis de Datos de Entrenamiento: Introduce los vectores PMI para eliminar el ruido de la distribución incondicional. Se demuestra que los mapas basados en PMI reflejan con mayor claridad las diferencias relacionadas con los datos de entrenamiento (ej. modelos entrenados en Tulu3 se agrupan mejor en mapas construidos con Tulu3) que los mapas condicionales puros.

4. Resultados Experimentales

Los experimentos se realizaron sobre una colección de 552 modelos de lenguaje públicos (incluyendo familias Llama, Qwen, Mistral, Gemma, etc.) utilizando dos conjuntos de datos: Tulu3 e Infinity-Instruct.

Estructura Global y Atributos: Los mapas generados (visualizados con t-SNE) capturan estructuras significativas. Los modelos de la misma arquitectura (ej. familia Qwen) forman regiones coherentes. Además, la proximidad espacial correlaciona con el rendimiento en tareas (Open LLM Leaderboard v2).
Validación de la Distancia KL: Se comparó la distancia estimada por los vectores de log-verosimilitud con una estimación de Monte Carlo de la Divergencia KL real. Se obtuvo una fuerte correlación (Spearman $\rho = 0.940$ ), validando la aproximación teórica.
Análisis de Desplazamiento (Prompt Shift):
- Se observaron desplazamientos sistemáticos en el mapa al modificar las prompts.
- La composicionalidad aditiva se confirmó con errores de predicción bajos (mediana de error relativo ~0.062), sugiriendo que se puede predecir el efecto de operaciones de prompts compuestas sumando los vectores de desplazamiento de operaciones individuales.
Comparación PMI vs. Condicional:
- Los mapas basados en PMI mostraron una mayor capacidad para agrupar modelos según sus datos de entrenamiento específicos (ej. modelos entrenados en Tulu3 se agrupan más fuertemente en mapas evaluados con Tulu3).
- Los mapas condicionales puros reflejaron mejor el rendimiento general, mientras que los mapas PMI destacaron la "huella" de los datos de entrenamiento.

5. Significado e Impacto

Este trabajo ofrece una herramienta fundamental para el análisis de LLMs:

Análisis sin Generación: Permite comparar modelos masivos sin necesidad de generar texto, evitando la aleatoriedad de la inferencia y reduciendo costos computacionales.
Predicción de Comportamiento: La propiedad de composicionalidad aditiva sugiere que es posible predecir cómo un modelo se comportará ante una nueva combinación de prompts (ej. una prompt con CoT y repetición) basándose solo en los efectos de las partes individuales.
Diagnóstico de Entrenamiento: Los vectores PMI proporcionan una nueva lente para entender cómo los datos de entrenamiento moldean la dependencia entre entrada y salida, diferenciando modelos que de otro modo parecerían similares en rendimiento general.
Marco Unificado: Establece un espacio compartido donde se pueden analizar simultáneamente atributos de arquitectura, rendimiento en tareas y efectos de ingeniería de prompts.

Limitaciones: El estudio se centra en modelos de código abierto y datasets de estilo instrucción. La generalización a texto no instruccional, código o interacciones multilingües complejas requiere investigación futura. Además, las visualizaciones de baja dimensión (t-SNE/PCA) pueden distorsionar ligeramente la geometría original de alta dimensión.