💬 NLP

Language Model Maps for Prompt-Response Distributions via Log-Likelihood Vectors

Os autores propõem um método que representa modelos de linguagem como vetores de verossimilhança logarítmica para criar mapas comparativos, onde as distâncias aproximam a divergência KL e capturam estruturas significativas relacionadas a atributos do modelo, desempenho em tarefas e efeitos composicionais de modificações nos prompts.

Autores originais: Yusuke Takase, Momose Oyama, Hidetoshi Shimodaira

Publicado 2026-03-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yusuke Takase, Momose Oyama, Hidetoshi Shimodaira

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma sala cheia de chefes de cozinha (os Modelos de Linguagem, como o Llama, o Qwen, o Mistral, etc.). Cada um deles é um modelo de IA diferente, treinado de formas diferentes, com personalidades distintas.

O problema é: como saber quem é quem? Quem é bom em cozinhar pratos italianos? Quem é melhor em sobremesas? Quem segue receitas estritas e quem é criativo?

Até agora, para compará-los, os cientistas olhavam apenas para o que eles produziam (os pratos prontos). Mas isso é como tentar entender um chef apenas provando a comida: é subjetivo e pode variar se o chef tiver um dia ruim.

Este artigo propõe uma nova maneira de mapear esses chefs. Em vez de olhar para o prato final, eles olham para a intenção e a probabilidade de cada chef em relação a um pedido específico.

Aqui está a explicação simplificada, passo a passo:

1. O Mapa de Probabilidades (O "GPS" dos Modelos)

Os autores criaram um "mapa" onde cada modelo de IA é um ponto.

A Analogia: Imagine que cada modelo é um viajante. Em vez de medir a distância entre eles com uma régua comum, medimos a distância baseada em quão provável é que eles deem a mesma resposta para uma pergunta específica.
Como funciona: Eles pegam uma lista de perguntas e respostas (como um teste de culinária) e calculam o "logaritmo da probabilidade" (uma pontuação matemática) que cada modelo daria para cada resposta correta.
O Resultado: Se dois modelos estão muito próximos no mapa, significa que eles "pensam" de forma muito parecida e tendem a dar respostas muito similares. Se estão longe, são muito diferentes.

2. A Grande Inovação: O "Contexto" Importa

Antes, os mapas olhavam para o que os modelos diziam de forma geral (como se eles estivessem falando sozinhos).

A Mudança: Este novo método olha para o diálogo. Ele pergunta: "Se eu der esta pergunta específica (o prompt), qual a chance de você dar esta resposta?"
Por que é importante: É a diferença entre um chef que sabe cozinhar qualquer coisa sozinho e um chef que é especialista em seguir pedidos específicos de clientes. O novo mapa mostra quem é bom em responder ao que você pede, não apenas quem tem um vocabulário grande.

3. O "Deslocamento" do Pedido (Prompt Shift)

Uma das descobertas mais legais é como o mapa reage quando mudamos a pergunta.

A Analogia: Imagine que você pede a um chef: "Faça um bolo". Ele fica num ponto do mapa. Agora, você muda o pedido para: "Faça um bolo pensando passo a passo".
O que acontece: No mapa, o ponto do chef se move. Ele não desaparece; ele desliza para uma nova posição.
A Mágica da Soma: Os autores descobriram que esses movimentos são quase como somar vetores. Se você pedir para "repetir a pergunta" e o chef se move 2 passos para a direita, e pedir para "pensar passo a passo" e ele se move 3 passos para cima, pedir as duas coisas juntas fará o chef se mover para a posição (2 direita + 3 cima).
Para que serve: Isso permite prever como um modelo vai se comportar em uma situação nova, apenas somando os efeitos de mudanças simples nas perguntas.

4. O Filtro "PMI" (Removendo o Ruído de Fundo)

Às vezes, os modelos são bons em responder porque o assunto é muito comum (ex: "Qual a capital do Japão?"), e não porque são inteligentes.

O Problema: O mapa original pode agrupar modelos apenas porque eles conhecem fatos comuns, ignorando se eles realmente entendem a relação entre a pergunta e a resposta.
A Solução (PMI): Eles criaram um "filtro" chamado PMI. É como se eles tirassem o "barulho de fundo" (o que o modelo sabe de qualquer jeito) e olhassem apenas para o que é específico daquela pergunta.
O Resultado: Com esse filtro, o mapa fica mais claro para ver quais modelos foram treinados com quais dados. É como se o mapa mostrasse a "assinatura" do treinamento de cada chef, revelando quem aprendeu com receitas italianas e quem com receitas japonesas, mesmo que ambos saibam fazer arroz.

Resumo da Ópera

Os autores criaram um mapa de relacionamento para modelos de IA que:

Mede a distância baseada em como eles respondem a perguntas (não apenas o que dizem).
Mostra como os modelos mudam quando você altera a pergunta (e que essas mudanças podem ser somadas).
Limpa a visão para ver o que realmente importa: a conexão entre a pergunta e a resposta, revelando a "personalidade" e o treinamento de cada modelo.

Isso ajuda pesquisadores e empresas a escolherem o modelo certo para a tarefa certa, sem precisar testar tudo manualmente, apenas olhando para o "mapa de vizinhança" das inteligências artificiais.

Resumo Técnico: Mapas de Modelos de Linguagem para Distribuições Prompt-Resposta via Vetores de Log-Verossimilhança

1. Problema e Motivação

Com o aumento da diversidade de Grandes Modelos de Linguagem (LLMs), surge a necessidade crítica de frameworks que permitam comparar sistematicamente o comportamento de diferentes modelos. Métodos existentes para comparação de modelos geralmente focam em:

Internos do modelo: Pesos e representações intermediárias (difíceis de comparar entre arquiteturas distintas).
Textos gerados: Espaços de incorporação (embeddings) de respostas geradas (vulneráveis à aleatoriedade da geração e variabilidade de representações).
Log-verossimilhança incondicional: Métodos anteriores (ex: Oyama et al., 2025b) representam modelos baseados na probabilidade de textos sem contexto.

A Lacuna: A maioria dos métodos ignora a natureza condicional dos LLMs modernos, que definem uma distribuição de resposta $p(y|x)$ condicionada a um prompt de entrada $x$ . Não há um método unificado para mapear e comparar essas distribuições condicionais em um espaço compartilhado, permitindo analisar como modificações no prompt afetam o comportamento do modelo de forma sistemática.

2. Metodologia

Os autores propõem uma representação vetorial baseada em log-verossimilhanças condicionais para mapear modelos em um espaço euclidiano compartilhado.

A. Vetor de Log-Verossimilhança Condicional (Conditional Log-Likelihood Vector)
Para um conjunto de dados $D = \{(x_s, y_s)\}_{s=1}^N$ (pares prompt-resposta), cada modelo $p_i$ é representado por um vetor $\ell_i \in \mathbb{R}^N$ :
$\ell_{is} = \log p_i(y_s | x_s)$
Este vetor captura a probabilidade que o modelo atribui a uma resposta específica $y_s$ dada uma entrada específica $x_s$ .

Distância e Divergência KL: A distância euclidiana quadrada entre dois vetores centrados ( $\xi_i = \ell_i - \bar{\ell}_i$ ) aproxima a Divergência de Kullback-Leibler (KL) média entre as distribuições condicionais dos modelos sobre a distribuição de entrada:
$KL(p_i, p_j) \approx \frac{1}{2N} \|\xi_i - \xi_j\|^2$
Isso torna as distâncias no espaço vetorial interpretáveis como diferenças probabilísticas.

B. Vetores de Informação Mútua Pontual (PMI Vectors)
Para reduzir a influência da distribuição incondicional (tendências do modelo em gerar certos textos independentemente do prompt), os autores introduzem o vetor PMI ( $\Delta \ell_i$ ):
$\Delta \ell_{is} = \log p_i(y_s | x_s) - \log p_i(y_s)$
Este vetor mede o ganho de log-verossimilhança ao considerar o contexto $x$ , enfatizando a estrutura de dependência entre prompt e resposta.

C. Análise de "Prompt Shift" (Deslocamento de Prompt)
O framework permite analisar como a posição de um modelo no mapa muda quando o prompt é modificado (ex: adicionar "Vamos pensar passo a passo" ou repetir o prompt). Os autores definem vetores de deslocamento ( $v$ ) para essas transformações e investigam se esses deslocamentos exibem composicionalidade aditiva.

3. Contribuições Principais

Framework de Mapas Condicionais: Propõe a representação de modelos através de vetores de log-verossimilhança condicional, estendendo mapas de modelos anteriores para o domínio de geração condicional.
Interpretabilidade Teórica: Demonstra que as distâncias no espaço proposto aproximam a Divergência KL entre distribuições condicionais, oferecendo uma métrica fundamentada teoricamente para comparação de modelos.
Composicionalidade Aditiva de Prompt: Descobre que os deslocamentos induzidos por modificações de prompt (como adicionar CoT ou repetir o texto) são aproximadamente aditivos no espaço vetorial. Isso permite prever o efeito de operações compostas de prompt somando os vetores de deslocamento individuais.
Vetores PMI para Análise de Dados: Introduz o uso de vetores PMI para isolar diferenças relacionadas aos dados de treinamento, mostrando que mapas baseados em PMI podem revelar melhor a correspondência entre o conjunto de dados de treinamento e o conjunto de avaliação do que mapas puramente condicionais.

4. Resultados Experimentais

Os experimentos foram realizados em um conjunto de 552 modelos de linguagem (incluindo famílias Llama, Qwen, Mistral, Gemma, etc.) utilizando os conjuntos de dados Tulu3 e Infinity-Instruct.

Estrutura Global e Atributos: Os mapas gerados via t-SNE capturam estruturas significativas. Modelos da mesma arquitetura (ex: família Qwen ou Llama) agrupam-se coherentemente. Além disso, a proximidade espacial correlaciona-se com o desempenho em tarefas (pontuação média no Open LLM Leaderboard v2).
Validação da Distância KL: A comparação entre a distância estimada pelos vetores e a Divergência KL calculada via Monte Carlo (gerando amostras reais) mostrou uma correlação de Spearman de 0.94, validando a aproximação teórica.
Prompt Shift e Composicionalidade:
- Visualizações mostram deslocamentos sistemáticos dos modelos no mapa quando prompts são alterados (ex: adição de CoT).
- A relação aditiva $v_{rep+cot} \approx v_{rep} + v_{cot}$ foi confirmada com baixo erro de previsão (erro relativo mediano de ~6.2%), sugerindo que efeitos de prompts compostos podem ser previstos linearmente.
Mapas PMI vs. Condicionais:
- Mapas baseados em vetores PMI refletiram mais claramente a correspondência entre os dados de treinamento dos modelos e o conjunto de dados usado para visualização. Modelos treinados no mesmo dataset que o de visualização agruparam-se mais fortemente nos mapas PMI do que nos mapas condicionais.

5. Significado e Implicações

Este trabalho oferece uma nova perspectiva para a análise de LLMs, deslocando o foco de distribuições incondicionais ou apenas de textos gerados para distribuições condicionais.

Análise de Comportamento: Permite analisar como modelos específicos respondem a variações de entrada, não apenas o que eles geram em média.
Previsão de Comportamento: A descoberta da composicionalidade aditiva abre caminho para prever como um modelo se comportará sob novas combinações de prompts sem necessidade de execução real, economizando recursos computacionais.
Diagnóstico de Treinamento: O uso de vetores PMI oferece uma ferramenta para detectar viés ou superajuste (overfitting) relacionado a dados de treinamento específicos em grandes coleções de modelos.
Limitações: O método depende de modelos de pesos abertos, foca principalmente em datasets de estilo instrucional e utiliza projeções de baixa dimensão (t-SNE/PCA) que podem distorcer geometrias originais.

Em suma, o paper estabelece uma base matemática e prática para mapear, comparar e prever o comportamento de modelos de linguagem em relação a prompts específicos, unificando teoria de probabilidade e análise de dados em um espaço vetorial interpretável.