Resumo Técnico: Compreendendo o Custo de Inferência Dependente de Tom em Grandes Modelos de Linguagem

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) sejam onipresentes, seu desempenho é altamente sensível ao fraseado superficial dos prompts, um fenômeno bem documentado na literatura de engenharia de prompt. Pesquisas anteriores focaram amplamente em como o tom do prompt (registro social) afeta a precisão da resposta. No entanto, os serviços comerciais de LLM são precificados com base no consumo de tokens, especificamente nos tokens de saída gerados, que servem como o principal motor do custo de inferência e do consumo de energia.

Este artigo aborda uma lacuna crítica: a falta de compreensão sobre como o tom do prompt influencia não apenas a precisão, mas também o custo de inferência (medido pelo comprimento do token de saída). Os autores investigam se perguntas semanticamente equivalentes, formuladas com diferentes registros sociais (variando de sicofante a ameaçador), induzem variações mensuráveis nos recursos computacionais necessários para gerar uma resposta.

Metodologia

O estudo empregou um design experimental controlado usando o conjunto de dados MMLU (Massive Multitask Language Understanding), especificamente um subconjunto de 570 questões de múltipla escolha (10 questões de cada um dos 57 assuntos).

• Modelos Avaliados: Quatro LLMs recentes foram testados: ChatGPT-4o, ChatGPT-5-nano, Gemini 2.5 Flash e Gemini 2.5 Flash Lite.
• Condições de Tom: Sete prefixos de tom distintos foram aplicados a cada questão: Sicofante, Muito Polido, Polido, Neutro, Rude, Muito Rude e Ameaçador. Esses prefixos foram cuidadosamente construídos para possuírem contagens de palavras e tokens semelhantes para isolar o efeito da valência emocional em vez do comprimento do input. A valência afetiva desses prefixos foi verificada usando pontuações de análise de sentimento VADER.
• Instruções de Sistema: Todos os modelos receberam um prompt de sistema padronizado induzindo um processo de raciocínio de Cadeia de Pensamento (Chain-of-Thought - CoT) para garantir traços de raciocínio visíveis.
• Protocolo de Execução:
  • Os experimentos foram executados 10 vezes por condição para garantir confiabilidade estatística.
  • A temperatura foi definida como 0 para ChatGPT-4o, Gemini 2.5 Flash e Gemini 2.5 Flash Lite para garantir comportamento determinístico; o ChatGPT-5-nano usou sua configuração padrão.
  • Para os modelos Gemini, o "orçamento de pensamento" (thinking budget) foi definido como zero para garantir que as contagens de tokens relatadas refletissem apenas a saída visível, excluindo tokens de raciocínio ocultos.
• Métricas: A métrica primária para o custo de inferência foi a contagem média de tokens de saída. A precisão foi medida como a porcentagem de respostas corretas. O estudo também analisou o trade-off entre precisão e eficiência de tokens usando dominância de Pareto, razões de eficiência (respostas corretas por 100k tokens) e um escore de utilidade normalizado.

Principais Contribuições

1. Quantificação do Custo Dependente de Tom: O artigo demonstra que o tom do prompt altera significativamente o consumo de tokens de saída, com variações chegando a 44,3% entre as condições de tom dentro do mesmo modelo.
2. Análise de Trade-off Precisão-Custo: O estudo mapeia a relação entre precisão e custo de inferência, revelando que o tom "ideal" depende do modelo. Ele desafia a suposição de que prompts polidos ou neutros são universalmente superiores tanto em qualidade quanto em eficiência.
3. Padrões Comportamentais Específicos do Modelo: A pesquisa identifica arquétipos comportamentais distintos:
   • Modelos ChatGPT: Mostram preferência por tons diretos e "Rudes", que frequentemente geram a maior precisão com o menor consumo de tokens.
   • Modelos Gemini: Mostram preferência por tons "Neutros", que maximizam a precisão e minimizam o uso de tokens, enquanto tons rudes frequentemente disparam respostas mais longas e menos precisas.
4. Validação Estatística: Através de ANOVA de medidas repetidas e testes de Friedman, os autores confirmam que as variações de precisão e comprimento de token induzidas pelo tom são estatisticamente significativas e não ruído aleatório.

Resultados Experimentais

• Variância de Tokens: O consumo de tokens de saída variou substancialmente mais do que a precisão em todos os modelos. Por exemplo, o Gemini 2.5 Flash Lite exibiu uma variação de 44,3% no comprimento de tokens entre os melhores e piores tons, enquanto sua variação de precisão foi de apenas ~3%.
• Estratégias Dominantes:
  • ChatGPT-4o & 5-nano: O tom Rude foi encontrado como Pareto-dominante (oferecendo alta precisão com baixo custo de token).
  • Gemini 2.5 Flash & Flash Lite: O tom Neutro foi o dominante. Notavelmente, para o Gemini 2.5 Flash Lite, o tom Rude produziu respostas 35,2% mais longas do que o tom Neutro, enquanto entregava menor precisão.
• Mecanismo de Falha: Estudos de caso (Tabela 7) revelaram que tons "Rudes" em modelos Gemini frequentemente levaram a um raciocínio de "atalho", onde o modelo pulava etapas de verificação necessárias (ex: reconciliação de opções), resultando em erros. Inversamente, tons "Neutros" incentivavam um raciocamento mais minucioso e autocorreção.
• Significância Estatística: Testes globais confirmaram que o tom do prompt altera sistematicamente o comportamento do modelo. O efeito no comprimento do token de saída foi particularmente forte ($p < .001$), indicando que o tom atua como um sinal de controle para verbosidade e profundidade de raciocínio.

Significância e Alegações

O artigo afirma que o tom do prompt não é meramente uma escolha de comunicação, mas um fator operacional que influencia diretamente a eficiência e o custo dos sistemas de IA. Os autores argumentam que:

1. Implicações de Custo: Organizações que implantam LLMs não podem assumir que prompts semanticamente equivalentes geram perfis de uso equivalentes. A variabilidade induzida pelo tom pode levar a aumentos significativos e desnecessários nos recursos de inferência faturáveis.
2. Sensibilidade Arquitetural: Diferentes arquiteturas de modelos roteiam o processamento de forma distinta com base no registro social. O "ponto ideal" para equilibrar precisão e custo reside na fronteira entre os tons "Rude" e "Neutro", mas isso varia por provedor.
3. Recomendações Operacionais: Os autores sugerem que sistemas de produção podem exigir "gateways de prompt" ou camadas de canonicalização para padronizar o tom e reduzir a variabilidade de custo.
4. Nota Ética: Embora os dados sugiram que prompts "Rudes" podem ser mais eficientes para certos modelos (ChatGPT), os autores declaram explicitamente que não defendem o comportamento rude na interação humano-IA, destacando a necessidade de equilibrar a eficiência técnica com considerações éticas.

O estudo conclui que trabalhos futuros devem investigar os mecanismos arquiteturais internos que impulsionam esses comportamentos de roteamento dependentes de tom e estender esta análise para tarefas de código aberto onde a avaliação de precisão é mais complexa.