Production and Perception in LLMs: A Token Probability Approach

Resumo Técnico: Produção e Percepção em LLMs: Uma Abordagem de Probabilidade de Tokens

Problema de Pesquisa
Na psicolinguística humana, existe uma assimetria bem documentada entre a produção de linguagem (codificar uma mensagem com intenção) e a percepção (inferir significado a partir do contexto). No entanto, permanece incerto se os Grandes Modelos de Linguagem (LLMs) exibem uma distinção funcionalmente análoga. Diferente das arquiteturas anteriores de codificador-decodificador que mantinham caminhos separados para entrada e saída, os contemporâneos LLMs apenas-decodificadores (decoder-only) dependem de um único mecanismo subjacente — a previsão do próximo token — tanto para o processamento da entrada quanto para a geração da saída. Essa simetria arquitetônica sugere que os LLMs podem carecer de uma distinção fundamental entre produção e percepção. Além disso, estudos comportamentais anteriores que tentaram medir essa distinção via prompting metalinguístico (por exemplo, pedir que modelos julguem ou avaliem textos) produziram resultados inconsistentes, frequentemente falhando em replicar assimetrias humanas.

Metodologia
Para abordar essas limitações, os autores propõem uma mudança metodológica: medir a distinção produção–percepção diretamente através das distribuições de probabilidade de tokens, em vez de depender de julgamentos metalinguísticos gerados. Citando Hu e Levy (2023), os autores argumentam que respostas avaliativas induzidas por prompts divergem das probabilidades subjacentes do modelo; portanto, a medição direta da probabilidade oferece um sinal mais limpo do estado interno do modelo.

O design experimental envolve as seguintes etapas:

1. Geração: Um modelo base (Llama-3.1-8B) gera uma sequência de tokens (poemas sobre 1.089 tópicos de animais) sob um prompt de produção primário (ex: "Por favor, escreva um poema sobre X"). As probabilidades dos tokens ($p_0$) são registradas durante esta geração.
2. Re-pontuação (Controle): A mesma sequência de tokens gerada é reavaliada token a token sob um prompt de produção reformulado (ex: "Eu gostaria que você escrevesse um poema sobre X"). Isso gera as probabilidades ($p_1$) para a condição Produção–Produção (prod-prod).
3. Re-pontuação (Experimental): A mesma sequência de tokens é reavaliada sob um prompt orientado à percepção (ex: "Aqui está um poema sobre X, por favor, avalie-o"). Isso gera as probabilidades ($p_2$) para a condição Produção–Percepção (prod-perc).
4. Análise: O estudo quantifica a divergência entre $p_0$ e $p_1$ versus $p_0$ e $p_2$ usando:
   • Correlações de Pearson por poema.
   • Distâncias absolutas médias por poema ($|p_0 - p_1|$ vs. $|p_0 - p_2|$).
   • Análise temporal modelando o decaimento dessas distâncias ao longo dos primeiros 100 tokens usando uma função de decaimento exponencial ($y = ae^{-bx} + c$).

O experimento foi replicado através de múltiplas variações de prompts (4 de produção, 3 de percepção) e estendido a quatro modelos adicionais de pesos abertos (EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3 e Qwen2.5-7B-Instruct), cobrindo variantes base e ajustadas por instrução (instruction-tuned).

Resultos Principais

• Divergência Sistemática: O estudo encontra uma divergência consistente e substancial nas probabilidades de tokens quando o enquadramento muda de produção para percepção. A distância absoluta média na condição prod-perc é aproximadamente 1,8× maior do que na condição prod-prod no modelo principal (Llama-3.1-8B), com intervalos de confiança de 95% não sobrepostos.
• Especificidade ao Enquadramento: A condição de controle prod-prod apresenta correlações próximas ao teto, indicando que a simples reformulação do prompt não altera significativamente as probabilidades. A divergência observada é específica para a mudança no enquadramento comunicativo (produtor vs. intérprete).
• Dinâmicas Temporais: O efeito é mais forte no início da sequência. A divergência decai conforme o contexto gerado se acumula, seguindo um padrão de decaimento exponencial. No entanto, a magnitude inicial da divergência na condição prod-perc é cerca de 8 vezes maior do que na condição prod-prod, e as curvas não convergem totalmente dentro da janela de 100 tokens para todos os modelos.
• Generalização: A assimetria se replica em todos os cinco modelos testados (tanto base quanto ajustados por instrução), com distâncias prod-perc excedendo as distâncias prod-prod por fatores variando de 1,53× a 2,11×. Isso sugere que o efeito não é um artefato de uma arquitetura de modelo específica ou da ausência de alinhamento (RLHF).

Significância e Alegações
O artigo reivindica várias descobertas significativas:

1. Distinção Funcional em Arquiteturas Apenas-Decodificadores: Apesar do design de parâmetros compartilhados e apenas-decodificador, que teoricamente impede caminhos separados de produção e percepção, o enquadramento do prompt por si só é suficiente para induzir uma assimetria funcionalmente significativa nas distribuições de probabilidade. Isso desafia a suposição de que os LLMs tratam o processamento de entrada e saída de forma idêntica em todos os contextos.
2. Validação Metodológica: O estudo valida o uso de medições diretas de probabilidade de tokens sobre o prompting metalinguístico para investigar distinções de natureza cognitiva em LLMs. Ao evitar a geração de texto avaliativo, o método isola o efeito do enquadramento nas representações internas do modelo sem confundir com a capacidade do modelo de "falar sobre" a linguagem.
3. Robustez do Efeito: A distinção produção–percepção não é um artefato de uma redação específica de prompt ou de uma única família de modelos; ela persiste através de diferentes tamanhos de modelos, arquiteturas (base vs. ajustada por instrução) e combinações de prompts.

Limitações
Os autores observam que o estudo é limitado à faixa de 7–9 bilhões de parâmetros e a um único domínio criativo (poesia). Eles reconhecem que, embora exista uma diferença estatisticamente confiável, a magnitude dessa diferença em relação ao comportamento humano permanece uma questão interpretativa aberta. Além disso, o estudo utilizou probabilidades da camada final; trabalhos futuros poderiam investigar se essa divergência é uniforme entre as camadas internas ou se está concentrada em profundidades específicas.