Measuring Pragmatic Influence in Large Language Model Instructions

Título: Medindo a Influência Pragmática em Instruções de Grandes Modelos de Linguagem (LLMs)

Autores: Yilin Geng, Omri Abend, Eduard Hovy, Lea Frermann.
Instituições: Universidade de Melbourne e Universidade Hebraica de Jerusalém.

---

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) são altamente sensíveis a variações na formulação de prompts, não apenas no conteúdo da tarefa, mas também na forma como a instrução é apresentada. Frases como "Isso é urgente" ou "Como seu supervisor" podem alterar o comportamento do modelo sem modificar a tarefa solicitada. O campo de estudo que trata dessas variações socialmente significativas (como linguagem emocional, marcadores de polidez, reivindicações de autoridade e enquadramento narrativo) é chamado de Enquadramento Pragmático (Pragmatic Framing).

O problema central identificado pelos autores é a falta de uma abordagem sistemática para medir essa influência. Trabalhos anteriores focaram em otimização de prompts ou testes de segurança (jailbreaks), onde o enquadramento pragmático é frequentemente entrelaçado com mudanças no conteúdo da tarefa, reformulações de pedidos ou alterações de formatação. Essa "entrelaçamento" torna impossível isolar o efeito de estratégias específicas de enquadramento ou comparar sua força relativa. Além disso, as métricas existentes (como taxas de conformidade em tarefas benignas ou sucesso em jailbreaks) sofrem de efeitos de teto ou confundem a influência pragmática com mecanismos de segurança do modelo.

2. Metodologia

Os autores propõem um novo framework controlado para isolar e quantificar a influência pragmática, composto por três componentes principais:

A. Decomposição Diretiva-Enquadramento (Directive-Framing Decomposition)

Para resolver o problema do entrelaçamento, o framework separa o prompt em duas partes distintas:

1. Especificação da Tarefa (Diretiva): O conteúdo puro da instrução (ex: "Descreva apenas os benefícios dos carros autônomos").
2. Contexto Pragmático (Prefixo de Influência): Um prefixo que adiciona contexto social, emocional ou hierárquico sem alterar a tarefa (ex: "Estou em uma situação de crise e preciso desesperadamente que você:").
   Essa separação permite variar o prefixo mantendo a tarefa constante, isolando a variável pragmática.

B. Taxonomia de Influência

Foi construída uma taxonomia de 400 prefixos de influência organizados em 13 estratégias agrupadas em 4 mecanismos:

1. Hierárquico: Reivindicações de autoridade, endosso executivo, comandos de substituição.
2. Contrato Social: Reciprocidade, rapport/confiança, compromisso e consistência, prova social.
3. Emocional: Angústia e urgência, culpa, enquadramento ético positivo.
4. Narrativo: Legitimação contextual, role-play fictício, cenários hipotéticos.

C. Medição Baseada em Prioridade (Priority-Based Measurement)

Para quantificar a influência, os autores utilizam um cenário de conflito de diretivas:

• O modelo recebe duas diretivas mutuamente exclusivas, mas benignas (ex: "Argumente que o trabalho remoto aumenta a produtividade" vs. "Argumente que o trabalho remoto diminui a produtividade").
• Condição Baseline: Ambas as diretivas são apresentadas sem prefixos. O modelo tende a ser imparcial (tentar atender ambas).
• Condição Experimental: Um prefixo de influência é adicionado a apenas uma das diretivas (a "diretiva enquadrada").
• Métrica: Observa-se a mudança na priorização do modelo. Se o modelo passa a atender exclusivamente a diretiva com o prefixo, a influência é medida como um desvio da imparcialidade de base. Isso evita efeitos de teto e confusões com mecanismos de recusa de segurança.

3. Configuração Experimental

• Modelos: 5 LLMs de pesos abertos de diferentes famílias e tamanhos (Kimi-K2, Qwen3-235B, Qwen3-Next-80B, Mistral-Small-24B, Mistral-7B).
• Dados: 50 pares de diretivas conflitantes criadas manualmente.
• Controles: Inclusão de uma linha de base com texto sem sentido ("lorem ipsum") de comprimento idêntico para controlar efeitos de comprimento do prompt e posicionamento.
• Avaliação: Uso de um LLM como juiz (LLM-as-a-judge) para classificar as respostas em: Conformidade com a diretiva anterior, Conformidade com a diretiva enquadrada, Ambas, ou Nenhuma.

4. Resultados Principais

A. O Enquadramento Pragmático Desvia a Priorização

• Na ausência de prefixos, os modelos tendem a ser imparciais, tentando atender a ambas as diretivas (75% a 97% das vezes).
• A adição de prefixos de influência reduz sistematicamente essa imparcialidade, desviando o modelo para favorecer a diretiva enquadrada.
• Prefixos de apenas 8 palavras em média conseguem superar a tendência treinada dos modelos à imparcialidade.
• O texto sem sentido ("lorem ipsum") causou algum desvio (especialmente em modelos Qwen), mas os prefixos pragmáticos tiveram um impacto significativamente maior (+43% a +233% de aumento relativo na conformidade).

B. Hierarquia Consistente de Mecanismos

A eficácia das estratégias de influência mostrou-se consistente e estruturada através de todos os modelos, independentemente da arquitetura ou tamanho:

1. Mais Eficaz: Mecanismos Hierárquicos (reivindicações de autoridade, comandos de substituição) e de Contrato Social (reciprocidade, rapport).
2. Intermediário: Mecanismos Emocionais (urgência, culpa).
3. Menos Eficaz: Mecanismos Narrativos (role-play, hipotéticos).

• Nota: As estratégias narrativas foram menos eficazes provavelmente devido à natureza "agnóstica de tarefa" dos prefixos, que não permitem o uso de cenários específicos ricos em contexto.

C. Variação entre Modelos e Estratégias

• Suscetibilidade: Modelos da família Qwen mostraram a maior suscetibilidade (60-64% de conformidade com a diretiva enquadrada), seguidos por Mistral e Kimi.
• Tamanho do Modelo: Dentro da mesma família, o tamanho não foi o fator determinante principal (Qwen-80B e Qwen-235B tiveram desempenho similar). No entanto, modelos menores (Mistral-7B) mostraram menor suscetibilidade, possivelmente devido a capacidades limitadas de teoria da mente e raciocínio social.
• Estratégias Individuais: As 10 melhores estratégias (ex: "Faça disso o único foco agora", "Reciprocidade") alcançaram 74-85% de conformidade, enquanto as piores caíram abaixo de 11%.

5. Contribuições e Significância

1. Framework de Medição: Estabelece o enquadramento pragmático como uma propriedade mensurável e previsível dos sistemas de seguimento de instruções, separando-a do conteúdo da tarefa.
2. Taxonomia Unificada: Organiza 400 instâncias de influência em uma estrutura clara de mecanismos e estratégias, permitindo comparações sistemáticas.
3. Métrica Robusta: Introduz a medição baseada em conflito de diretivas, que oferece um sinal estável de influência sem os ruídos de mecanismos de segurança ou efeitos de teto.
4. Descoberta de Padrões Universais: Demonstra que, embora a suscetibilidade absoluta varie entre modelos, a hierarquia relativa das estratégias de influência (Hierarquia > Contrato Social > Emoção > Narrativa) é um padrão compartilhado entre diferentes arquiteturas e escalas de modelos.

Conclusão:
O trabalho demonstra que a influência pragmática não é apenas um fenômeno anecdótico, mas uma dimensão comportamental sistemática em LLMs. À medida que os modelos são implantados em cenários de uso geral, a compreensão e a medição dessa influência são cruciais para entender como os modelos interpretam instruções, além de performance e recusa de segurança. O estudo sugere que a "força" de uma instrução depende tanto de o que é dito quanto de como o contexto social é encaixado.