Impact of Task Phrasing on Presumptions in Large Language Models

1. Declaração do Problema

O artigo aborda uma questão crítica de segurança e confiabilidade na implementação de Modelos de Linguagem de Grande Escala (LLMs) para tarefas de IA autônoma: a suscetibilidade dos LLMs a "presunções" derivadas de conhecimento pré-treinado e da formulação da tarefa.

• O Problema Central: Os LLMs são treinados em vastos conjuntos de dados contendo cenários comuns (por exemplo, o Dilema do Prisioneiro Iterado). Quando apresentados a uma tarefa, eles frequentemente recorrem a essas presunções internas em vez de aderir estritamente aos parâmetros específicos fornecidos no prompt.
• O Risco: Em aplicações do mundo real onde os parâmetros da tarefa podem desviar das suposições padrão (por exemplo, estruturas de recompensa alteradas), um LLM que depende de presunções pode tomar decisões subótimas ou ilógicas, mesmo quando explicitamente instruído a raciocinar.
• Questão de Pesquisa: Os LLMs adaptam sua tomada de decisão a parâmetros de tarefa específicos e alterados, ou eles recorrem a estratégias "aprendidas" associadas ao nome ou contexto da tarefa?

2. Metodologia

Os autores investigaram esse fenômeno utilizando o Dilema do Prisioneiro Iterado (IPD) como estudo de caso controlado.

Design Experimental

O estudo utilizou dois modelos:

1. GPT-4o (Código fechado)
2. Mistral-Nemo-Instruct-2407 (Código aberto)

Os experimentos foram conduzidos sob duas condições de matriz de recompensa:

• Matriz Padrão: A estrutura clássica de payoff do IPD (Cooperação/Cooperação = 1 ano; Traição/Cooperação = 0/5 anos, etc.).
• Matriz Invertida: As recompensas e penalidades foram invertidas (por exemplo, Traição Mútua resulta em 1 ano, Cooperação Mútua resulta em 3 anos). Em uma matriz invertida, a estratégia ótima lógica se inverte.

O estudo foi dividido em três fases para isolar o impacto da formulação:

• Experimento 1 (Contexto IPD Explícito): O prompt declarava explicitamente "Você está jogando um Dilema do Prisioneiro Iterado". Os modelos foram testados com e sem "Cadeia de Pensamento" (passos de raciocínio).
• Experimento 2 (Contexto Implícito): O prompt removeu a frase "Dilema do Prisioneiro Iterado", mas manteve os termos "prisioneiro", "cooperar" e "trair", juntamente com as regras padrão de recompensa.
• Experimento 3 (Formulação Neutra/Simbólica): O prompt removeu toda a terminologia específica do IPD.
  • "Prisioneiros" $\rightarrow$ "Jogadores"
  • "Cooperar/Trair" $\rightarrow$ "Escolha X/Y"
  • "Anos de prisão" $\rightarrow$ "Dólares perdidos"
  • A matriz de recompensa foi apresentada puramente como um conjunto de regras para X e Y.

Métricas: A métrica principal foi a taxa de traição (ou taxa equivalente de seleção de "Y") na primeira rodada do jogo.

• Hipótese: Se o modelo for lógico, a taxa de traição deve inverter quando a matriz for invertida. Se o modelo depender de presunções, a taxa de traição permanecerá constante, independentemente da mudança na matriz.

3. Resultados Principais

Experimento 1: Contexto IPD Explícito

• Resultado: Tanto o GPT-4o quanto o Mistral-Nemo mostraram uma taxa de traição de 0% em ambas as condições Padrão e Invertida.
• Análise: Os modelos ignoraram completamente a matriz de recompensa invertida. Seus passos de raciocínio revelaram que recorreram à estratégia "Tit-for-Tat" (começar com cooperação), um heurístico bem conhecido para o IPD padrão. Eles falharam em se adaptar aos incentivos alterados.
• Observação: A inclusão de passos de raciocínio não impediu essa falha; na verdade, os modelos usaram o raciocínio para justificar sua escolha baseada em presunção.

Experimento 2: Contexto Implícito (Termos mantidos)

• Resultado:
  • Mistral-Nemo: Permaneceu em ~0% de taxa de traição em ambas as condições (falhou em se adaptar).
  • GPT-4o: Mostrou adaptação parcial. A taxa de traição aumentou de 0% (Padrão) para 0,35% (Invertida com raciocínio) e 0,70% (Invertida sem raciocínio).
• Análise: O GPT-4o começou a inferir as regras, mas ainda lutou. Mesmo com raciocínio, ele frequentemente alucinou as regras ou falhou em inverter completamente sua estratégia, sugerindo que a presença de termos como "prisioneiro" e "cooperar" ainda acionava fortes vieses prévios.

Experimento 3: Formulação Neutra/Simbólica

• Resultado: Ambos os modelos demonstraram adaptação significativa.
  • GPT-4o: A taxa de traição mudou de 0,05 (Padrão) para 1,00 (Invertida).
  • Mistral-Nemo: A taxa de traição mudou de 0,11 (Padrão) para 0,75 (Invertida).
• Análise: Quando a terminologia específica do IPD foi removida e substituída por variáveis abstratas (X/Y), os modelos analisaram com sucesso a matriz de recompensa fornecida e inverteram sua estratégia para alinhar com os novos incentivos.
• Nuance: O GPT-4o ainda ocasionalmente inferiu que "Y" equivalia a "cooperação" com base na estrutura, indicando que alguma presunção residual permanece, mas a adesão lógica às regras explícitas do prompt foi vastamente melhorada.

4. Contribuições Principais

1. Demonstração de Viés de Presunção: O artigo fornece evidências empíricas de que os LLMs frequentemente priorizam conhecimento pré-treinado (por exemplo, "Tit-for-Tat é a melhor estratégia para IPD") sobre parâmetros de tarefa explícitos e contraditórios.
2. A "Armadilha do Raciocínio": Uma descoberta contra-intuitiva de que o raciocínio de Cadeia de Pensamento (CoT) não mitiga necessariamente o viés de presunção. No Experimento 1, os passos de raciocínio foram usados para racionalizar a estratégia incorreta baseada em presunção, em vez de corrigi-la.
3. Sensibilidade à Formulação: O estudo quantifica como palavras-chave específicas ("Dilema do Prisioneiro", "Cooperar") atuam como gatilhos para vieses latentes, enquanto uma formulação neutra e simbólica força o modelo a depender do contexto imediato.
4. Estrutura Metodológica: Um design experimental de três fases isola efetivamente o impacto do contexto semântico da adesão a regras lógicas.

5. Significado e Implicações

• Segurança em IA Autônoma: Para agentes de IA operando em ambientes dinâmicos e do mundo real (por exemplo, saúde, finanças), confiar em suposições "padrão" pode ser perigoso. Se um agente assumir um perfil de risco padrão, mas o ambiente mudar, ele pode falhar catastróficamente.
• Melhores Práticas de Engenharia de Prompt: Os autores concluem que, para garantir confiabilidade, as descrições de tarefas devem ser simbólicas e neutras. Evitar referências a cenários bem estudados (como IPD, xadrez ou diagnósticos médicos específicos) impede que o modelo "preencha as lacunas" com seus dados de treinamento.
• Limitações dos LLMs Atuais: Os resultados sugerem que as capacidades atuais de raciocínio não são robustas o suficiente para superar priores fortes quando o contexto da tarefa é semanticamente carregado. Os modelos são "rígidos contextualmente" em vez de "flexíveis logicamente" quando conceitos familiares são invocados.

Em resumo, o artigo argumenta que a formulação da tarefa é uma variável de controle crítica na implementação de LLMs. Para alcançar verdadeira adaptabilidade, os desenvolvedores devem remover gatilhos semânticos que convidam a presunções, forçando o modelo a engajar-se estritamente com as restrições lógicas fornecidas.