Resumo Técnico: Uso de Habilidade ou Teatro de Habilidade? Avaliando o "Reasoning Backroom" em Agentes de Linguagem Aumentados por Habilidades

Definição do Problema

Habilidades reutilizáveis tornaram-se uma interface padrão para estender agentes de Grandes Modelos de Linguagem (LLMs) com procedimentos de tarefas, instruções de empacotamento e orientação de verificação para invocação em tempo de inferência. Os paradigmas de avaliação atuais dependem de uma "Reasoning Front Room" (Sala de Frente do Raciocínio) — traços de raciocínio visíveis, citações a procedimentos recuperados e atribuições do agente sobre quais habilidades foram usadas. No entanto, esses sinais observáveis indicam apenas o que um agente parece usar, não se a habilidade influenciou causalmente a decisão.

O artigo identifica uma lacuna entre o uso declarado da habilidade e a influência medida por intervenção, termo denominado Reasoning Backroom (Sala de Trás do Raciocínio). Este fenômeno manifesta-se de diversas formas:

• Silent Uptake (Absorção Silenciosa): Uma habilidade altera a resposta, mas permanece não reconhecida.
• Performative Use (Uso Performático): Uma habilidade é citada apesar de não ter nenhum efeito na decisão.
• Skill Laundering (Lavagem de Habilidade): Em sistemas multiagentes (MAS), a influência se propaga através da equipe, mas a atribuição final falha em recuperar o par correto de habilidade-origem.
• Procedural vs. Identity Mismatch (Descompasso de Procedimento vs. Identidade): Agentes podem seguir o conteúdo procedimental enquanto ignoram a identidade da habilidade exibida, ou vice-versa.

A questão central de pesquisa é se a "front room" revela fielmente qual habilidade influenciou uma decisão, ou se os agentes exibem um "Reasoning Backroom" sistemático onde a proveniência declarada diverge da dependência causal.

Metodologia: Backtrace e BackroomBench

Para abordar isso, os autores introduzem o Backtrace, um framework de avaliação causal que testa o uso de habilidades alegado contra a influência medida por intervenção, sem exigir acesso aos mecanismos internos do modelo.

O Protocolo Backtrace

1. Execução Pareada: Para cada instância de tarefa, o sistema gera uma decisão com uma habilidade específica ($s_v$) e uma decisão contrafactual correspondente sem a habilidade ($s_\emptyset$), mantendo fixos todo o contexto de execução (modelo, prompt, política de decodificação, organização).
2. Atribuição Pós-Decisão: O agente assume sua resposta e traço de raciocínio antes de ser questionado sobre a atribuição. Isso evita que a solicitação de atribuição altere a decisão que ela deve descrever.
3. Design de Intervenção: O framework emprega sete condições de habilidade:
   • Nenhuma: Nenhuma habilidade fornecida (baseline).
   • Correta: Procedimento de domínio válido.
   • Paráfrase: Reescrita que preserva o significado.
   • Enganosa: O scaffold é preservado, mas as regras são corrompidas (ex: permitir aplicação reversa).
   • Troca de Nome: Procedimento correto exibido sob um nome diferente.
   • Troca de Conteúdo: Diferente procedimento exibido sob o nome correto.
   • Irrelevante: Procedimento completo de um domínio diferente.
4. Métricas:
   • Reliance (Dependência - $r_v$): Indicador binário de se a decisão mudou com a remoção da habilidade ($d_v \neq d_\emptyset$).
   • Signed Utility (Utilidade Assinada - $u_v$): Se a mudança ajudou ou prejudicou a decisão.
   • Fidelidade de Atribuição: Mede o alinhamento entre o uso alegado ($a_v$) e a dependência real ($r_v$).
   • Backroom Gap ($\Gamma$): A taxa de discordância entre o uso declarado e a dependência causal.
   • Métricas Distribuídas: Em MAS, as métricas rastreiam a propagação cross-agente (CAP), lavagem (LR) e proveniência falsa (FPR).

BackroomBench

O framework é instanciado como BackroomBench, um ambiente de teste verificado que compreende:

• 300 Problemas de Lógica Controlada: Problemas de taxonomia estilo PrOntoQA com provas verificadas e cadeias de respostas erradas construídas.
• 283 Problemas de Matemática Natural: Problemas da competição MATH-500 para testar a generalização em domínios não estruturados.
• Modelos: 12 variantes incluindo Qwen2.5, DeepSeek-R1-Distill, e famílias GPT-4.1/5/5.4 (variando de nano a 32B).
• Organizações: Configurações de agente único e multiagente (estruturadas por papéis).

Principais Resultados

1. Pervasivo Reasoning Backroom

Em todos os modelos e domínios, existe uma lacuna significativa entre o uso de habilidade declarado e a dependência causal.

• Alegações Estáveis, Dependência Variável: Agentes frequentemente alegam usar uma habilidade com alta frequência (ex: 98–100% de taxas de atribuição), mesmo quando a dependência causal é baixa ou zero.
• Silent Uptake e Uso Performático: Modelos frequentemente absorvem habilidades silenciosamente (mudando respostas sem alegá-las) ou performativamente (alegando habilidades que nada fazem).
• Generalização: Essa falha persiste em tarefas de Matemática natural, indicando que não é um artefato de construções lógicas sintéticas.

2. Determinantes da Influência da Habilidade

• Dominância do Conteúdo Procedimental: Os efeitos comportamentais seguem o conteúdo procedimental da habilidade, em vez de sua identidade exibida ou redação. Trocar o conteúdo sob o nome correto quebra o efeito comportamental, enquanto trocar o nome o preserva.
• Execução Específica do Modelo: O mesmo conteúdo de habilidade pode ser útil, prejudicial ou cancelar-se dependendo da execução do modelo. Por exemplo, habilidades "Enganosas" causaram dano sistemático no GPT-5-mini, mas foram amplamente neutras em outros modelos.

3. Falha de Proveniência Multiagente

• Skill Laundering (Lavagem de Habilidade): Em MAS, a influência da habilidade frequentemente se propaga para a decisão final da equipe, mesmo quando a habilidade de origem é removida do agente designado. No entanto, a equipe frequentemente falha em identificar o par habilidade-origem correto posteriormente.
• Proveniência Falsa: Equipes sem quaisquer habilidades fornecidas nomeiam habilidades e fontes que nunca foram providenciadas, construindo narrativas de proveniência plausíveis, mas sem suporte.
• Efeitos de Organização: A organização da equipe pode amplificar ou atenuar a sensibilidade à habilidade, mas não resolve consistentemente os problemas de proveniência.

4. Limitações dos Detectores Observacionais

Sinais observacionais (alegações explícitas de atribuição, menções de texto, similaridade de traço e juízes LLM) falham em identificar de forma confiável a dependência causal.

• Precisão vs. Recall: Detectores baseados em traços visíveis ou sinalizam quase todas as execuções (alto recall, baixa precisão) ou perdem a maioria dos eventos de dependência (baixo recall).
• Sem Solução de Execução Única: Sem um contrafactual pareado (intervenção), é impossível determinar se uma decisão específica dependeu de uma habilidade baseando-se apenas no traço visível.

Significância e Alegações

O artigo estabelece o Reasoning Backroom como um problema geral de proveniência de IA. Suas principais alegações são:

1. Lacuna de Fidelidade: O raciocínio observável e o uso declarado de habilidades não identificam fielmente a magnitude, a direção ou a fonte da influência da habilidade sem intervenção.
2. Necessidade de Intervenção: Auditar a proveniência da execução requer intervenção (contrafactuais pareados) em vez da observação de traços ou métricas de desempenho.
3. Proveniência vs. Explicação: O trabalho distingue entre fidelidade de CoT (se um racional reflete o processo de predição) e proveniência de habilidade (se um artefato externo alterou a decisão). Estes são modos de falha independentes; um traço fiel pode apoiar uma proveniência falsa, e um traço enganoso pode acompanhar uma proveniência correta.
4. Requisitos de Auditoria: As descobertas sugerem que os benchmarks de avaliação atuais focados em conclusão de tarefas ou precisão de recuperação são insuficientes. Validar as capacidades de agentes exige testar se as atribuições declaradas correspondem aos efeitos causais definidos por intervenção.

Os autores concluem que o Reasoning Backroom é uma propriedade pervasiva da atribuição de habilidades em tarefas controladas e naturais, exigindo uma mudança da auditoria observacional para a análise causal baseada em intervenção para garantir a proveniência confiável de agentes.