When Agents Look the Same: Quantifying Distillation-Induced Similarity in Tool-Use Behaviors

1. O Problema

O ecossistema de Agentes de Grandes Modelos de Linguagem (LLMs) está passando por uma "explosão cambriana" de desempenho, mas com uma crescente sensação de déjà vu. Muitos agentes emergentes, apesar de origens diversas, exibem comportamentos quase idênticos: passos de raciocínio redundantes, modos de falha compartilhados e hábitos de chamada de ferramentas que sugerem que são "ecos" destilados de poucos modelos professores dominantes.

Desafios Principais:

• Homogeneização: A distilação de conhecimento pode levar à convergência de "maus hábitos" (como chamadas de ferramentas redundantes ou verificação excessiva) em modelos teoricamente independentes.
• Limitações das Métricas Atuais: As métricas existentes focam na similaridade de resposta em diálogos estáticos ou na sobreposição de n-gramas. Elas falham em distinguir entre:
  1. Comportamentos Obrigatórios: Ações estritamente necessárias para o sucesso da tarefa (ex: cancelar uma reserva requer a função cancel_reservation).
  2. Comportamentos Não Obrigatórios: Preferências autônomas do modelo (ex: escolher verificar detalhes antes de cancelar, ou o tom de voz usado).
• Risco de Ecossistema: Se todos os modelos falham da mesma maneira devido à convergência de distilação, o ecossistema perde robustez e a capacidade de verificação independente.

2. Metodologia

Os autores propõem um framework sistemático para quantificar a destilação isolando padrões comportamentais não obrigatórios. Eles introduzem duas métricas complementares:

A. Similaridade de Padrão de Resposta (RPS - Response Pattern Similarity)

Foca na similaridade verbal e estrutural.

• Abordagem: Divide as trajetórias de interação em cinco estágios canônicos:
  1. Autenticação (verificação de identidade).
  2. Elicitação (solicitação de parâmetros faltantes).
  3. Execução (chamada de ferramentas).
  4. Verificação (confirmação do usuário antes de ações críticas).
  5. Notificação (relato de resultados).
• Métricas: Um "juiz" LLM avalia a similaridade em três dimensões:
  • Estilo: Hábitos de redação e vocabulário.
  • Estrutura: Padrões de frases e templates de resposta.
  • Alinhamento: Consistência entre o raciocínio declarado e a ação executada.
• Vantagem: Ignora a cobertura da tarefa e foca apenas nos estágios compartilhados, comparando como os modelos expressam a mesma lógica.

B. Similaridade de Gráfico de Ação (AGS - Action Graph Similarity)

Foca na similaridade estrutural e de uso de ferramentas, modelada como grafos direcionados.

• Construção do Grafo: Cria um "Grafo de Fluxo de Ação" onde nós são chamadas de ferramentas e arestas representam ordem sequencial ou dependência de dados.
• Sub-métricas (Focadas em Comportamentos Não Obrigatórios):
  1. $S_{node}$ (Acordo de Ferramentas Opcionais): Mede a consistência na escolha de ferramentas opcionais. Ferramentas obrigatórias (necessárias para a tarefa) são excluídas para evitar inflar a pontuação. Se dois modelos escolhem a mesma ferramenta opcional (ex: verificar detalhes antes de cancelar), isso indica sinal de treinamento compartilhado.
  2. $S_{seq}$ (Padrões Sequenciais): Mede hábitos locais, como taxas de verificação pós-escrita, confirmação pré-escrita e padrões de retry em caso de erro.
  3. $S_{dep}$ (Padrões de Dependência): Mede a topologia de reutilização de saída, como a profundidade de cadeias de dependência e a taxa de reutilização de saídas de ferramentas.

3. Contribuições Principais

1. Primeiro Framework de Quantificação: Propõe a primeira metodologia para quantificar a destilação em agentes de uso de ferramentas, desconstruindo comportamentos obrigatórios dos não obrigatórios.
2. Novas Métricas Interpretáveis: Introduz RPS e AGS, que capturam dimensões comportamentais distintas (verbal vs. estrutural/operacional).
3. Análise Empírica em Grande Escala: Avaliou 18 modelos de 8 provedores principais (Anthropic, OpenAI, DeepSeek, Moonshot, ByteDance, Google, Qwen, Zhipu) em benchmarks reais ($\tau$-Bench e $\tau^2$-Bench).
4. Validação Controlada: Realizou um experimento de destilação controlada (fine-tuning de um modelo Qwen com dados de Claude) para provar que as métricas detectam a direção da herança comportamental.

4. Resultados Chave

• Consistência Interna: Modelos da mesma família (ex: Anthropic Claude Opus e Sonnet) exibem alta consistência interna, servindo como baseline.
• Descoberta Surpreendente (Kimi-K2): O modelo Kimi-K2 (thinking) da Moonshot exibiu similaridade excepcionalmente alta com o modelo de referência Claude Sonnet 4.5 (thinking), superando até mesmo modelos da própria família Anthropic em algumas métricas.
  • AGS: Kimi-K2 atingiu 82.7% de similaridade (o mais alto entre não-Anthropic), com $S_{node}$ de 82.6% e $S_{dep}$ de 94.7%.
  • RPS: Pontuação de 3.65, indicando forte alinhamento verbal e de estrutura.
  • Isso sugere que o Kimi-K2 pode ter herdado padrões comportamentais específicos do Claude, mesmo em cenários onde múltiplos caminhos corretos existem.
• Complementaridade: RPS e AGS capturam dimensões diferentes (correlação de Pearson $r = 0.491$), indicando que um modelo pode ser similar verbalmente, mas diferente estruturalmente, e vice-versa.
• Validação do Experimento Controlado: Ao destilar um modelo a partir do Claude:
  • O AGS aumentou em direção ao professor (Claude) e diminuiu em direção ao controle (DeepSeek).
  • Métricas de base (como GED - Graph Edit Distance) aumentaram em ambas as direções, falhando em distinguir a destilação específica.

5. Significado e Impacto

• Transparência do Ecossistema: O trabalho fornece ferramentas para detectar "ecos" de destilação, ajudando a identificar quando modelos são meras cópias comportamentais de poucos líderes, em vez de inovações independentes.
• Robustez e Segurança: A homogeneização de comportamentos (especialmente falhas e "maus hábitos") torna o ecossistema de IA mais frágil. Se todos os agentes falham da mesma maneira, a verificação cruzada torna-se inútil.
• Diagnóstico de Distilação: As métricas permitem que pesquisadores e reguladores distinguam entre melhoria genuína (generalização) e simples imitação de padrões de um modelo professor específico.
• Futuro: O código e as métricas estão disponíveis para diagnósticos comportamentais futuros, permitindo monitorar a diversidade real dos agentes de IA à medida que a tecnologia avança.

Em resumo, o artigo alerta que a "diversidade" aparente no mercado de agentes pode ser ilusória, revelando através de métricas rigorosas que muitos modelos estão convergindo para os mesmos padrões de raciocínio e ação, possivelmente devido a processos de destilação não transparentes.