When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation

Resumo Técnico: Quando Agentes LLM Tratam Ruído de Superfície Diferentemente de Ruído Semântico?

Declaração do Problema
Agentes de modelos de linguagem grandes (LLM) implantados em tarefas de raciocínio multi-etapa, matemática e recuperação frequentemente encontram entradas perturbadas por sistemas a montante (parafraseamento, modelagem) ou adversários. Uma questão aberta crítica é se esses agentes tratam ruído lexical (operadores de apresentação como reordenação, formatação ou adição de distratores) e ruído semântico (operadores portadores de significado como parafraseamento ou substituição de sinônimos) como equivalentes. Trabalhos anteriores sobre robustez a perturbações focaram amplamente em modelos de etapa única ou taxas de sucesso brutas, falhando em isolar uma lacuna direcional entre perturbações portadoras de significado e perturbações de apresentação em trajetórias de agentes multi-etapa. Este artigo investiga se perturbações semânticas causam taxas de inconsistência significativamente maiores nas respostas finais em comparação com perturbações de apresentação de severidade comparável.

Metodologia
Os autores realizam um estudo de medição em grande escala envolvendo 68 células (combinações de 10 LLMs de 7 famílias de arquiteturas, 3 benchmarks e 2 andaimes de raciocínio) e uma validação retida em um 11º modelo.

• Modelos e Benchmarks: O painel inclui modelos de pesos abertos (Qwen2.5, Llama-3.2/3.1, Mistral, Gemma2) e APIs comerciais (MiMo-v2.5-Pro, Gemini-2.5-Flash, DeepSeek-V3). Os benchmarks são GSM8K, MATH e HotpotQA. Os andaimes são Cadeia de Pensamento (CoT) e ReAct.
• Operadores de Perturbação: Cinco operadores são utilizados:
  • Portadores de significado: Parafrasear (reescrita da pergunta inteira), Sinônimo (substituição de palavras de classe aberta).
  • Apresentação: Reordenar (permutação de token/cláusula), Formatar (espaço em branco/caixa), Distrator (inserção de contexto irrelevante).
  • Todos os operadores preservam a resposta dourada; um juiz de equivalência filtra variantes que alteram a pergunta subjacente.
• Métricas:
  • Taxa de Inconsistência (IR): A taxa na qual a resposta final do agente muda entre a original e a variante perturbada.
  • A Lacuna ($\Delta$): Definida como $IR_{sem} - IR_{sur}$, onde $IR_{sem}$ é a média sobre operadores portadores de significado e $IR_{sur}$ sobre operadores de apresentação.
  • Profundidade da Cascata: O número de etapas consecutivas após a primeira divergência onde o traço perturbado não corresponde a nenhuma etapa original subsequente.
• Robustez e Validação:
  • Correspondência de Severidade: As variantes são agrupadas por distância de edição, Jaccard de tokens, cosseno Sentence-BERT e razão de mudança de comprimento para garantir que perturbações portadoras de significado e de apresentação sejam de severidade comparável.
  • Testes Estatísticos: Bootstrap de aglomerado selvagem (K=10 modelos, K=7 famílias) é utilizado para abordar questões de inferência em aglomerados pequenos. Bootstrap hierárquico é aplicado a dados de trajetória aninhados.
  • Geradores e Juízes: Trocas de geradores entre famílias (Qwen vs. MiMo) e um segundo juiz LLM (MiMo vs. Qwen) são utilizados para auditar generalizabilidade e viés.
  • Validação Retida: Uma execução totalmente independente no modelo qwen2.5-14B-Instruct (1.800 trajetórias) valida as descobertas sem qualquer ajuste de parâmetros.

Principais Resultados

1. Lacuna Direcional de Inconsistência: Em todo o painel de 68 células, a lacuna média correspondente à severidade é de +19,69 pontos percentuais (pp) ($p < 0,0001$), com 64/68 células mostrando uma lacuna positiva. Isso indica que os agentes têm probabilidade significativamente maior de alterar sua resposta final quando a entrada é perturbada semanticamente do que quando é perturbada na apresentação, mesmo quando a severidade é correspondida.
2. Robustez às Definições de Severidade: A lacuna permanece estável (+18,9 a +20,9 pp) em quatro diferentes proxies de severidade (Distância de Edição, Jaccard de Tokens, Sentence-BERT, Mudança de Comprimento), confirmando que o efeito não é um artefato de uma única métrica.
3. Condições de Fronteira:
   • Inferência em Aglomerados Pequenos: A lacuna não é significativa sob bootstrap de aglomerado selvagem nos níveis de modelo (K=10) ou família (K=7), indicando que a descoberta é descritiva do painel específico em vez de um efeito causal universalmente identificado.
   • Tratabilidade: Proxies de tratabilidade dentro do benchmark (ex.: multi-rota vs. rota única) falham em identificar um contraste significativo (0/3 significativos). Os autores retratam alegações anteriores de que "a topologia comuta a dicotomia".
   • Dependência do Gerador: Trocas de geradores entre famílias destroem a classificação por célula (Spearman $\rho \approx 0,14$), enquanto trocas dentro da família a preservam. A magnitude específica de $\Delta$ é condicional ao gerador.
4. Validação Retida: O 11º modelo (qwen2.5-14B) replica a direção da partição capacidade $\times$ tratabilidade (3/4 células do Grupo A positivas), mas não a magnitude (média +1,08 pp vs. +19,69 pp), provavelmente devido à alta capacidade de linha de base do modelo retido e baixa sensibilidade ao ruído de superfície.
5. Análise de Mecanismo (Divergência Furtiva): Análise ao nível de traço no modelo retido revela um mecanismo de "divergência furtiva":
   • M3 (Profundidade da Cascata): Perturbações semânticas cascata 0,17 etapas mais profundas do que perturbações de apresentação ($p = 2,5 \times 10^{-14}$).
   • M4 (Similaridade de Pensamento): Perturbações semânticas deixam a primeira ação intacta, mas corrompem o conteúdo do pensamento intermediário a partir da Etapa 2 em diante, com uma lacuna de similaridade por etapa de -5,6 a -10,5 pp.
   • Retratações: Duas alegações anteriores de mecanismo são explicitamente retratadas: M1 (perturbações semânticas divergem mais cedo) e M2 (perturbações semânticas se autocorrigem com menos frequência) falharam em replicar no modelo retido.

Significado e Alegações
O artigo posiciona-se principalmente como uma contribuição de medição. Documenta um fenômeno empírico robusto onde agentes LLM exibem sensibilidade sistematicamente diferente ao ruído semântico versus ruído de superfície em raciocínio multi-etapa.

• Implicação de Engenharia: As descobertas sugerem que estratégias de normalização de entrada devem priorizar o tratamento de perturbações portadoras de significado (parafraseamentos, sinônimos) em vez de ruído de apresentação, pois as primeiras impulsionam taxas de inconsistência mais altas.
• Contribuição Metodológica: O estudo fornece um quadro rigoroso para medir sensibilidade a perturbações em agentes, incluindo correspondência de severidade, análise de cascata ao nível de traço e relato honesto de alegações de mecanismo não replicáveis (M1, M2).
• Limitações: Os autores enfatizam que os coeficientes de regressão não sobrevivem à inferência estrita em aglomerados pequenos (bootstrap selvagem), significando que os resultados são associações descritivas para o painel testado em vez de efeitos causais identificados. A ferramenta de diagnóstico (AgentDiff-Probe v2) é um protótipo com precisão de sinal atando a linha de base trivial, e os autores alertam contra o uso dela como único gate para implantação em produção.

O trabalho evita explicitamente alegar generalização entre famílias da magnitude específica da lacuna e retrata alegações anteriores de monotonicidade linear relacionadas à capacidade, reenquadrando a relação como um gate binário em benchmarks tratáveis. Todo o código, dados e scripts são liberados para revisão.