Continuous Interpretive Steering for Scalar Diversity

1. Problema e Motivação

O artigo aborda a avaliação da inferência pragmática em Modelos de Linguagem de Grande Escala (LLMs). O problema central identificado é que as avaliações atuais dependem excessivamente de manipulações baseadas em prompts (instruções, exemplos ou reformulação de perguntas). Essas abordagens são consideradas:

• Ephemerais e frágeis: Podem refletir sensibilidade à forma superficial em vez de representações internas estáveis.
• Binárias: Tendem a tratar a inferência pragmática como um estado "presente ou ausente", ignorando a natureza graduada da inferência humana.

Um fenômeno linguístico específico, a Diversidade Escalar (Scalar Diversity), ilustra essa nuance: diferentes itens lexicais (ex: "alguns" vs. "quase todos") geram implicações escalares com intensidades variadas. Enquanto "alguns" frequentemente implica "nem todos" com força, termos como "quente" raramente implicam "não muito quente" com a mesma robustez. A maioria dos métodos atuais de steering (direcionamento) em LLMs aplica vetores de intervenção fixos e uniformes, o que corre o risco de colapsar essa diversidade escalar, forçando uma interpretação pragmática uniforme em todos os itens, independentemente da sua natureza lexical.

2. Metodologia

Para investigar como os LLMs codificam essa sensibilidade graduada internamente, o estudo propõe uma nova metodologia e um novo conjunto de dados:

A. Direcionamento Interpretativo Contínuo (CIS)

O CIS é um método de intervenção no tempo de inferência (inference-time steering) que opera no espaço de ativação do modelo sem atualizar os pesos.

• Mecanismo: O método extrai representações internas de várias camadas do transformador. Define-se uma direção de intervenção ($v$) no espaço de ativação, calculada como a diferença entre as representações de uma variante pragmática e uma variante lógica.
• Variável Experimental: Diferente de trabalhos anteriores que usam um vetor fixo para otimizar uma tarefa, o CIS trata a força do direcionamento ($\alpha$) como uma variável contínua.
• Condições Testadas:
  1. Direcionamento Uniforme: Aplica a mesma magnitude de força ($\alpha$) a todos os itens, independentemente do seu tipo lexical.
  2. Direcionamento Gradado: Modula a magnitude de $\alpha$ de forma diferenciada para cada item, alinhando-se com os graus de diversidade escalar conhecidos (categorias A-E, onde A é a força mais alta e E a mais baixa).

B. Dataset GraSD (Graded Scalar Diversity)

Foi construído um novo dataset para suportar essa análise:

• Composição: Consolida 121 pares de itens <fraco, forte> (ex: alguns/all) de quatro estudos psicolinguísticos anteriores.
• Estrutura: Cada par gera três variantes de sentenças: Âncora (termo fraco), Lógica (termo forte) e Pragmática (negação do termo forte).
• Escala: O dataset foi expandido para 121.000 instâncias contextualizadas usando GPT-4o com restrições teóricas, garantindo a preservação das condições pragmáticas.

C. Modelos e Análise

Os experimentos foram realizados em quatro modelos de código aberto (LLaMA3, Qwen2, Gemma2, OLMo). A preferência interpretativa foi operacionalizada calculando a similaridade de cosseno entre a representação do item âncora (direcionado) e as variantes pragmática e lógica.

3. Principais Contribuições

1. CIS (Continuous Interpretive Steering): Uma nova abordagem que utiliza a força de intervenção como uma variável experimental contínua para sondar a geometria da inferência pragmática, em vez de apenas como um mecanismo de controle para tarefas.
2. GraSD: O primeiro dataset de grande escala projetado especificamente para codificar e avaliar a diversidade escalar graduada em LLMs.
3. Prova de Representação Graduada: Evidência empírica de que a sensibilidade graduada à diversidade escalar está codificada no espaço de representação dos LLMs e pode ser recuperada sistematicamente através de intervenção controlada.

4. Resultados

Os experimentos compararam as condições de baseline (sem direção), direcionamento uniforme e direcionamento gradado:

• Efeito Global: Tanto o direcionamento uniforme quanto o gradado aumentaram significativamente a proporção de interpretações pragmáticas em relação à baseline em todos os quatro modelos (testes de Wilcoxon, $p < .001$).
• Direcionamento Uniforme (Falha na Nuance):
  • Embora aumentasse a interpretação pragmática globalmente, este método colapsou a variação em nível de item.
  • As correlações de Spearman entre as preferências da baseline e as do direcionamento uniforme foram fracas e não significativas ($\rho \approx 0$).
  • Isso indica que o modelo foi "empurrado" uniformemente para uma interpretação pragmática, ignorando as diferenças intrínsecas entre os itens lexicais.
• Direcionamento Gradado (Sucesso na Nuance):
  • Produziu mudanças interpretativas diferenciadas que preservaram a estrutura de nível de item.
  • As correlações de Spearman foram moderadas e estatisticamente significativas ($\rho$ entre 0.27 e 0.39, $p < .01$).
  • A magnitude da mudança na interpretação pragmática variou sistematicamente de acordo com a hierarquia de graus (A-E) definida no dataset. Itens que naturalmente têm implicações mais fortes responderam mais fortemente ao direcionamento do que itens com implicações mais fracas.

5. Significado e Conclusão

O estudo demonstra que a inferência pragmática em LLMs não é um fenômeno binário, mas sim um estado interno graduado.

• Limitação das Avaliações Atuais: Avaliações agregadas que apenas medem o aumento global de respostas pragmáticas são insuficientes, pois podem mascarar a incapacidade do modelo de distinguir nuances entre diferentes itens lexicais.
• Validação da Arquitetura: O fato de o direcionamento gradado recuperar a diversidade escalar sugere que os LLMs aprendem e codificam essas distinções sutis em seu espaço de representação, mesmo que não as manifestem espontaneamente na baseline.
• Implicações Futuras: O CIS oferece uma ferramenta metodológica robusta para investigar a organização interna de fenômenos pragmáticos, indo além do prompt engineering para uma análise mecânica mais profunda. O trabalho sugere que, para que os LLMs exibam comportamento pragmático verdadeiramente humano, eles devem ser capazes de modular a força da inferência em nível de item, algo que o direcionamento gradado conseguiu revelar e explorar.

Em suma, o artigo fornece um framework principiado (CIS + GraSD) para avaliar a sensibilidade pragmática graduada, provando que intervenções controladas no espaço de ativação podem revelar e explorar a estrutura fina da cognição pragmática em modelos de linguagem.