Resumo Técnico: Fiel, Não Corretivo: Efeitos de Formato de Mensagem em Relés de Múltiplos Saltos São Dependentes de Nível

1. Declaração do Problema

Sistemas de Grandes Modelos de Linguagem (LLMs) multiagentes funcionam fundamentalmente como sistemas de retransmissão (relay), onde a informação é reencodificada por um modelo para o consumo de outro. Embora a literatura existente ofereça orientações contraditórias sobre formatos de mensagem — algumas sugerindo que formatos estruturados reduzem custos sem sacrificar a precisão, enquanto outras afirmam que esquemas rígidos degradam o raciocínio — nenhuma dessas linhas de investigação abordou a dinâmica específica de reles de múltiplos saltos (multi-hop relays). Em trocas de salto único, o desafio primário é a qualidade da geração; em cadeias de múltiplos saltos, o desafio dominante é a fidelidade de cópia (prevenção do desvio cumulativo). O sinal do efeito de formato em um regime de retransmissão permanece desconhecido, particularmente à medida que os pipelines implantam cada vez mais modelos menores e de baixo custo em fronteiras de retransmissão, onde o desalinhamento entre agentes é uma das principais causas de falha.

2. Metodologia

Os autores introduzem um ambiente de teste de retransmissão controlado, projetado para isolar efeitos de formato da capacidade do modelo e da complexidade da tarefa.

• Verdade Fundamental (Ground Truth): O estudo utiliza uma verdade fundamental programática derivada de doze fatos atômicos sintéticos (proprietários, quantidades, prazos, restrições, dependências, proibições) através de três domínios. A fidelidade é medida contra a saída do gerador, não contra a geração de outro modelo.
• Protocolo de Retransmissão: Briefings de tarefas são reencodados salto a salto ao longo de seis saltos. Cada agente recebe apenas a mensagem do salto anterior e deve emitir novamente o handoff completo no formato atribuído.
• Formatos: Cinco formatos abrangendo o espectro da estrutura foram testados:
  1. FREE: Linguagem natural livre.
  2. CONSTR: Linguagem natural com instruções de precisão (números/nomes literais).
  3. JSON: Um esquema de seis chaves fixas.
  4. TRIPLES: Sujeito | Predicado | Objeto em linhas.
  5. KV: Linhas de chave–valor planas em snake_case.
• Níveis de Capacidade: Experimentos foram realizados em dois níveis distintos de retransmissão:
  • Nível Forte (Strong Tier): DeepSeek-v4-flash (modelo de API).
  • Nível Fraco (Weak Tier): Qwen2.5-1.5B-Instruct (quantizado em 4 bits, local).
  • Crucialmente, um único modelo forte serviu como avaliador (grader) para todas as condições para garantir que as distorções observadas não fossem artefatos de um avaliador fraco.
• Métricas:
  • Recall de QA (Primária): Um avaliador forte fixo responde a 12 perguntas de forma fechada baseadas na mensagem do salto, com correspondência exata de tokens contra a verdade fundamental.
  • Recall de String (Secundária): Contenção literal das formas superficiais dos fatos (sem julgamento).
• Condições Experimentais:
  • Retransmissão Pura: Reencodificação padrão.
  • Carga Cognitiva (Nível Forte): Os agentes devem realizar uma etapa de análise antes da reencodificação para simular o processamento do mundo real.
  • Injeção de Bifurcação Pareada (Nível Fraco): Um erro específico (um nome de proprietário) é injetado programaticamente no Salto 3. A cadeia se divide em um braço "limpo" e um braço "injetado" para medir a persistência do erro e o dano colateral.

3. Resultados Principais

A. Nível Forte: Retransmissão Quase Sem Perdas

Sob o modelo de retransmissão forte, o colapso do "telefone sem fio" (degradação progressiva da precisão) não ocorre.

• Após seis saltos, todos os formatos mantiveram um recall de QA $\ge 0,973$.
• A perda residual está concentrada quase inteiramente na primeira etapa de codificação (Salto 1), e não acumulada nos saltos subsequentes.
• Carga Cognitiva: Adicionar deveres de análise por salto aumentou os custos de geração em 24–53%, mas teve impacto negligenciável na fidelidade (dentro de $\pm 1,8$ pontos).
• Eficiência de Formato: A linguagem natural com instrução de precisão (CONSTR) alcançou recall perfeito com 26% menos tokens do que o JSON, sugerindo que esquemas estruturados não são estritamente necessários para modelos fortes.

B. Nível Fraco: Efeitos de Formato Dependentes de Nível

Quando a capacidade de retransmissão cai (modelo 1.5B), a dinâmica muda drasticamente. A dispersão de recall entre formatos no Salto 6 cresce por um fator de 8,7 (razão de DP).

• Dois Mecanismos Opostos:
  1. Pedágio de Codificação (Encoding Toll): Formatos rígidos (JSON, KV) impõem um alto custo inicial aos modelos fracos, resultando em um recall menor no Salto 1 em comparação com formatos de linguagem natural.
  2. Resistência ao Desvio (Drift Resistance): Uma vez codificado, o esquema de chaves fixas do JSON atua como uma âncora forte, resistindo ao desvio cumulativo. O JSON perdeu apenas 4,7 pontos brutos ao longo dos saltos 1–6, enquanto a prosa livre e os triplas perderam mais de 20 pontos.
• Inversão de Ranking: Devido a essas forças opostas, o ranking de formatos inverte durante o trânsito. O JSON começa em 4º lugar no Salto 1 (devido ao pedágio de codificação), mas termina em 2º lugar no Salto 6 (devido à resistência ao desvio).
• Conclusão: A estrutura preserva o conteúdo, mas não o repara. O "melhor" formato depende do elo mais fraco na cadeia.

C. Adjudicação Causal: Fiel, Não Corretivo

Usando a injeção de bifurcação pareada, o estudo testou se os esquemas previnem o desvio ou reparam erros.

• Persistência: Uma vez injetado, um erro propaga-se fielmente até o salto final em 83–100% das cadeias em todos os formatos.
• Sem Correção: Nenhum formato exibiu a capacidade de "corrigir" o erro injetado.
• Sem Cascata: A injeção de um único erro não causou nenhum dano colateral detectável aos fatos vizinhos.
• Implicação: A estrutura fornece um canal fiel e localizado de erros, não um código de correção de erros.

4. Contribuições

1. Primeiro Estudo de Retransmissão Controlado por Formato: Os autores completam o espaço de design "formato $\times$ saltos $\times$ capacidade", demonstrando que o colapso do "telefone sem fio" não é intrínseco à retransmissão de texto de múltiplos saltos, mas é contingente à capacidade de retransmissão e à transformação da tarefa.
2. Identificação de Regime de Capacidade: O estudo estabelece que os efeitos de formato são dependentes de nível. Na fronteira (modelos fortes), a escolha do formato é quase gratuita; abaixo do teto (modelos fracos), a escolha é decisiva e impulsionada por um compromisso entre custos de codificação e resistência ao desvio.
3. Decomposição de Mecanismo: O artigo isola dois mecanismos opostos em reles fracos: o "pedágio de codificação" de esquemas rígidos versus a "resistência ao desvio" de esquemas de chaves fixas, explicando por que os rankings de JSON invertem ao longo do tempo.
4. Adjudicação Causal de "Prevenção por Esquema": O estudo refuta a ideia de que os esquemas atuam como códigos de correção de erros. Em vez disso, eles são mostrados como canais fiéis que localizam erros sem amplificá-los ou repará-los.

5. Significância e Orientação Prática

O artigo argumenta que, à medida que os pipelines dependem cada vez mais de modelos pequenos e de baixo custo para tarefas de retransmissão, o formato da mensagem deixa de ser uma escolha de estilo para se tornar um parâmetro crítico de confiabilidade.

• Para Reles Fortes: A linguagem natural com instrução de precisão é ideal, ofereando fidelidade de nível de esquema com custos de tokens significativamente menores.
• Para Reles Fracos (Cadeias Longas): Um esquema de chave fixa (JSON) é recomendado, apesar do pedágio de codificação inicial, pois sua resistência ao desvio preserva o conteúdo ao longo de múltiplos saltos melhor do que a linguagem natural.
• Regra Geral: A escolha do formato deve ser ditada pelo elo mais fraco na cadeia.
• Implicação de Design: A estrutura localiza o dano, mas não o conserta. Sistemas que exigem correção de erros devem implementar mecanismos explícitos de validação e re-fundamentação (re-grounding), pois o próprio formato da mensagem não reparará dados corrompidos.

Os autores concluem que o "telefone sem fio" não é uma lei dos pipelines de LLM, mas um fenô evero dependente de capacidade, e que o mecanismo específico de degradação de múltiplos saltos varia significamente conforme a escolha de design do formato de mensagem.