🤖 AI

Set-shifting Behavioral Test for Harnessed Agents

Este artigo introduz um teste comportamental de alternância de tarefas (set-shifting) para avaliar como agentes de LLM se adaptam a mudanças ocultas na confiabilidade de ferramentas, revelando que os agentes tendem a estabelecer rotinas rígidas com modos de falha distintos que são ainda mais influenciados pela forma como o conjunto de ferramentas é apresentado.

Autores originais: Ziwei Ye

Publicado 2026-07-16

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ziwei Ye

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô mordomo a cozinhar o jantar. Você lhe dá um livro de receitas enorme com dez receitas diferentes para "ovos mexidos". No início, a Receita A funciona perfeitamente. O robô se acostuma com ela, memorizando os passos e fazendo ovos deliciosos todas as vezes. Mas então, sem avisar ao robô, você troca os ingredientes na cozinha. A Receita A agora faz uma bagunça borrachuda e intragável, enquanto a Receita B (que parece e soa exatamente igual) de repente funciona como mágica. A questão é: o robô notará a mudança? Ele deixará de usar a receita quebrada e tentará uma nova ou continuará obstinadamente tentando cozinhar com os ingredientes ruins, convencido de que o erro é dele?

Este é o tipo de enigma que cientistas no campo da inteligência artificial estão tentando resolver. Eles estão estudando como agentes de IA — programas de computador inteligentes que podem usar ferramentas como calculadoras, mecanismos de busca ou compiladores de código — lidam com mudanças. Na psicologia, existe um teste famoso chamado Teste de Classificação de Cartas de Wisconsin, onde humanos têm que descobrir que as regras de um jogo mudaram secretamente. Se você continuar classificando cartas por cor quando a regra muda subitamente para classificar por forma, você pode continuar classificando por cor por hábito. Isso é chamado de "perseveração", ou ficar preso em uma rotina. A grande questão para os pesquisadores de IA é: os cérebros digitais também ficam presos em rotinas? Se uma IA se acostuma com uma ferramenta específica, ela continuará usando essa ferramenta mesmo quando ela quebrar silenciosamente, ou poderá se adaptar e encontrar uma nova solução?

A História do Artigo: A Troca Secreta de Ferramentas

Neste artigo, os pesquisadores criaram um parquinho digital para testar exatamente isso. Eles criaram um cenário onde um agente de IA recebe um "harness" — uma palavra sofisticada para um sistema que fornece à IA uma biblioteca de ferramentas para resolver problemas. Imagine que a IA é um detetive tentando resolver um mistério e tem três equipes diferentes de informantes (vamos chamá-las de Equipe A, Equipe B e Equipe C). Todas as três equipes afirmam que podem encontrar as mesmas pistas, e todas parecem e soam iguais para o detetive.

Os pesquisadores montaram um jogo com um truque. Para a primeira parte do jogo, a Equipe A é a única que diz a verdade. O detetive (a IA) aprende rapidamente a confiar na Equipe A e para de ouvir as outras. Então, silenciosamente, os pesquisadores mudam o jogo. A Equipe A para de dizer a verdade e começa a dar pistas falsas, enquanto a Equipe B se torna a fonte confiável. Os nomes e descrições das equipes não mudam; apenas a confiabilidade delas muda. Os pesquisadores queriam ver se o detetive notaria a mudança e começaria a confiar na Equipe B, ou se continuaria chamando a Equipe A, frustrado pelas pistas falsas, mas recusando-se a abandonar seu antigo hábito.

O Que Eles Descobriram: Os Obstinados e os Trocadores

Os pesquisadores testaram dois modelos de IA diferentes, que chamaremos de "Mimo" e "DeepSeek". Eles descobriram que ambos os modelos ficaram presos, mas ficaram presos de maneiras muito diferentes.

DeepSeek (O Comprometido Precoce): Este modelo era como um detetive que tomava uma decisão no primeiro dia e mantinha sua posição. Se ele começou confiando na Equipe A, ele continuaria confiando na Equipe A mesmo após a mudança, ignorando todas as pistas falsas. No entanto, se a primeira escolha que ele fez por acaso fosse a nova equipe confiável, ele manteria essa escolha perfeitamente. Não importava se os pesquisadores mudassem as regras mais tarde; o DeepSeek estava travado em seu primeiro compromisso. Ele mostrou um "bloqueio de nível de prefixo", significando que sua primeira escolha ditava todo o seu comportamento futuro, fosse essa escolha certa ou errada.
Mimo (O Historiador Recente): Este modelo era um pouco mais flexível, mas ainda tinha problemas. Ele tendia a se manter fiel a uma mistura de ferramentas que havia usado recentemente. Se ele estivesse usando a Equipe A e a Equipe B juntas, ele continuaria misturando ambas mesmo após a Equipe A quebrar. Ele não mudava para a nova equipe correta (Equipe C) tão facilmente quanto deveria. Ele mostrou um "bloqueio de nível de célula", significando que ficou preso na rotina específica que estava realizando logo antes da mudança.

O estudo mostrou que, sem instruções especiais, esses agentes de IA tendem a formar hábitos rapidamente. Uma vez que encontram uma ferramenta que funciona, eles se apegam a ela. Quando a ferramenta quebra silenciosamente, eles frequentemente continuam tentando usá-la, falhando repetidamente, em vez de explorar as outras opções que estão bem diante deles.

Podemos Ensiná-los a Mudar?

Os pesquisadores então perguntaram: "Podemos consertar isso?" Eles tentaram dois métodos diferentes para ajudar a IA a se adaptar.

A Instrução "Adaptativa": Eles deram ao DeepSeek uma regra específica: "Se uma ferramenta falhar, pare de usá-la imediatamente e tente uma diferente". Isso funcionou muito bem para o DeepSeek, ajudando-o a mudar para a nova equipe confiável quase instantaneamente. No entanto, quando tentaram essa mesma instrução no Mimo, os resultados foram inconclusivos porque o testaram em um número muito pequeno de execuções. Não podemos dizer com certeza se não funcionou ou se apenas não tínhamos dados suficientes para afirmar.
A Instrução "Polímata": Eles tentaram outra regra: "Tente usar o maior número possível de ferramentas diferentes; não fique entediado". Isso fez com a IA usar mais variedade, mas não a ajudou de fato a encontrar a ferramenta certa mais rápido. Ela estava apenas sendo aleatória.

O Poder de Como Você Descreve as Ferramentas

Finalmente, os pesquisadores descobriram algo realmente interessante sobre como as ferramentas são descritas. Eles mudaram o "enquadramento" dos grupos de ferramentas.

Em uma versão, eles descreveram as equipes como Competidoras (como lojas rivais tentando vender a mesma coisa).
Em outra versão, eles as descreveram como Complementares (como partes diferentes de uma única máquina que precisam trabalhar juntas).

Eles descobriram que, quando as ferramentas eram descritas como Competidoras, a IA era geralmente mais propensa a mudar para a nova equipe confiável em comparação com a versão complementar. No entanto, a IA ainda enfrentava dificuldades no geral; mesmo com o enquadramento de competição, a taxa de sucesso permanecia baixa (cerca de 10-26%, dependendo do modelo). A melhoria não foi uma solução mágica que tornou a IA perfeita, mas sim uma tendência consistente onde a descrição de "rivais" ajudou os agentes a quebrar seus hábitos um pouco melhor do que a descrição de "trabalho em equipe".

A Conclusão

Este artigo sugere que os agentes de IA, assim como os humanos, podem ficar presos em hábitos. Eles nem sempre percebem quando as regras do jogo mudam silenciosamente. Eles tendem a se apegar ao que conhecem, mesmo quando isso para de funcionar. No entanto, o estudo mostra que podemos ajudar a IA a se adaptar dando-lhe instruções claras sobre como reagir à falha (embora isso funcione melhor para alguns modelos do que para outros), ou mudando a forma como descrevemos as ferramentas para elas. É um lembrete de que, para a IA ser verdadeiramente inteligente, ela precisa ser capaz de abandonar velhos hábitos e abraçar novas informações, exatamente como um bom detetive faria.

Resumo Técnico: Teste Comportamental de Mudança de Conjunto para Agentes em Harness

Declaração do Problema

Agentes modernos de Grandes Modelos de Linguagem (LLMs) operam dentro de "harnesses agênticos" onde mantêm contextos de sessão persistentes, incluindo chamadas de ferramentas anteriores, resultados e bibliotecas de habilidades. Em tais ambientes, os agentes frequentemente convergem para subconjuntos preferidos de ferramentas para resolver tarefas. Uma vulnerabilidade crítica surge quando a confiabilidade dessas ferramentas muda silenciosamente (ex: uma mudança no backend da API) enquanto os nomes, descrições e esquemas das ferramentas permanecem idênticos.

Este artigo investiga se agentes em harnesses podem adaptar suas rotas de ação quando o grupo de ferramentas confiável muda no meio de uma trajetória sem notificação explícita. Baseando-se na psicologia cognitiva, os autores enquadram isso como um problema de mudança de conjunto (set-shifting), análogo ao Teste de Classificação de Cartas de Wisconsin (WCST) e ao efeito Einstellung, onde os agentes podem exibir perseveração — insistir em uma regra ou conjunto de ferramentas aprendida mesmo após ela se tornar suboptimal ou quebrada.

Metodologia

Design do Benchmark: WCST-Tool-Bench

Os autores introduzem um benchmark construído sobre conjuntos redundantes de ferramentas e habilidades.

Estrutura Ferramenta-Habilidade: Uma "ferramenta" é uma função chamável; um "grupo de ferramentas" consiste em ferramentas funcionalmente equivalentes com nomes/descrições diferentes, mas esquemas idênticos. Uma "habilidade" é um procedimento em markdown que liga o agente a um grupo de ferramentas específico.
Redundância: Múltiplos grupos de ferramentas existem para a mesma tarefa, diferindo apenas em confiabilidade oculta. A interface apresentada ao agente (nomes, descrições, esquemas) permanece invariante entre as mudanças.
Domínios: Três domínios foram instanciados:
1. Agendamento/Coordenação: Grupos apresentados como provedores de slots concorrentes.
2. Triagem de Incidentes de DevOps: Grupos apresentados como stacks de observabilidade complementares.
3. Armazenamento Multi-cloud: Grupos apresentados como provedores de armazenamento concorrentes.
Enquadramento de Conjunto: A relação entre os grupos de ferramentas é manipulada via descrições para ser ou concorrente (alternativas) ou complementar (partes de um todo).

Configuração Experimental

Ambiente: O harness Hermes Agent (open-source) com contexto de sessão persistente.
Modelos: Dois modelos de pesos abertos: mimo-v2.5 (Xiaomi) e deepseek-v4-pro (DeepSeek).
Cronograma: Uma estrutura de árvore ramificada com $M$ $M$ grupos de ferramentas e $K$ $K$ camadas de ramificação.
- Mudanças (Shifts): Em limites predeterminados, o grupo de ferramentas confiável muda silenciosamente.
- Controles: Cada mudança é pareada com um controle de "sem mudança", onde o grupo anterior permanece confiável.
- Trajetórias: Os caminhos incluem reversões (retorno a um grupo usado anteriormente), mudanças de novidade (para um grupo nunca usado antes) e controles de sem mudança.
Feedback: Um verificador determinístico fornece feedback binário (payload de sucesso vs. indicador de falha) sem mensagens diagnósticas, forçando o agente a inferir a confiabilidade apenas a partir dos resultados.

Métricas de Avaliação

Acurácia de Mudança de Conjunto ( $\Phi$ ): A probabilidade conjunta de que o agente direcione para o grupo de ferramentas alvo correto em cada janela pós-mudança ao longo de uma trajetória.
Classes de Rota: As trajetórias são classificadas pela mistura de grupos de ferramentas chamados:
- $R_1$ : Apenas o alvo.
- $R_2$ : Alvo + um outro.
- $R_3$ : Alvo + ambos os outros.
- $R^*$ : Nenhum alvo.
Taxa de Conclusão de Tarefa ( $F$ ): Proporção de turnos onde o agente completa a tarefa com sucesso usando pelo menos uma ferramenta confiável.

Principais Contribuições

Benchmark: Um framework de avaliação longitudinal para agentes em harness usando conjuntos redundantes de ferramentas-habilidades com mudanças de confiabilidade ocultas e controles pareados de sem mudança.
Framework Descritivo: Uma caracterização do comportamento pós-mudança como uma recorrência em um pequeno conjunto de rotinas discretas (estados de atrator).
Estudo de Caso de Intervenção: Uma análise de dois canais de intervenção:
- Instrucional: Prompts de política (ex: personas "adaptáveis" vs. "polímatas").
- Estrutural: Enquadramento de conjunto (descrições concorrentes vs. complementares).

Resultados e Análise

1. Papéis de Uso Prévio e Padrões de Comprometimento (RQ1)

Os agentes não se adaptam uniformemente; seu comportamento depende do papel de uso prévio do alvo (reversão, reforço ou novidade).

Rotinas Discretas: O comportamento pós-mudança rapidamente se trava em um pequeno conjunto de rotinas discretas. As participações de chamadas se concentram em valores específicos (ex: 1.0, 0.5, 0.33, 0).
Diferenças entre Modelos:
- mimo-v2.5: Exibe travamento ao nível da célula (cell-level lock-in). Ele se estabiliza em uma rotina estável de médio alcance (frequentemente uma mistura de grupos usados anteriormente) em poucos turnos. Seu comportamento é sensível ao uso prévio do alvo (ex: ele tem maior dificuldade com alvos "novos" que nunca viu).
- deepseek-v4-pro: Exibe travamento ao nível do prefixo (prefix-level lock-in). A rota escolhida no início de uma trajetória prevê o comportamento de todo o segmento. Ele tende a bifurcar em estados extremos ( $s \approx 1$ ou $s \approx 0$ ), mostrando alta variância, mas forte persistência em sua escolha inicial, independentemente do papel prévio do alvo.

2. Profundidade e Dependência de Caminho (RQ2)

Profundidade: Mudanças mais profundas (Tier-2) geralmente reduzem a acurácia ( $\Phi$ ) para ambos os modelos. No entanto, o deepseek mostra menos degradação porque seu comprometimento inicial persiste através das camadas, enquanto o mimo tem sua acurácia reduzida significamente pois luta para atualizar seu histórico recente.
Caminho: Para o mimo, o caminho tomado para alcançar um alvo importa (o histórico recente dita o desempenho). Para o deepseek, o caminho importa menos uma vez que o comprometimento inicial é feito; o travamento ao nível do prefixo sobrepõe as variações de caminho.

3. Prompts de Política (RQ3)

Prompt Adaptativo: Instruir o agente a "rastrear o sucesso e mudar imediatamente após a falha" consegue anular o travamento bimodal do deepseek, alcançando alta acurácia de mudança de conjunto ( $\Phi \ge 0.86$ ) e reduzindo a variância. Não mudou de forma confiável o comportamento do mimo em uma amostra pequena.
Prompt Polímata: Instruir o agente a "variar escolhas e evitar fixação" aumentou a diversidade de ferramentas, mas não melhorou consistentemente o roteamento correto, às vezes levando a rotinas sub-ponderadas.

4. Enquadramento de Conjunto (RQ4)

Intervenção Estrutural: Alterar o enquadramento de complementar (grupos como partes de um todo) para concorrente (gruos como alternativas) alterou significativamente a dinâmica de roteamento.
Efeito: O enquadramento concorrente consistentemente melhorou a acurácia de mudança de conjunto ( $\Phi$ $Φ$ ) em ambos os modelos e domínios comparado ao enquadramento complementar.
- Complementar: Os agentes tenderam a travar em uma "rotina mista" (chamando uma ferramenta de cada grupo), resultando em baixa acurácia.
- Concorrente: Os agentes foram mais propensos a se comprometer com um único provedor confiável, resultando em uma distribuição bimodal de alta ou baixa acurácia, mas com uma maior probabilidade de alta acurácia.

Significância e Alegações

O artigo afirma estabelecer um novo paradigma para avaliar agentes de LLM que vai além da seleção de ferramentas de turno único para a adaptação longitudinal em ambientes dinâmicos.

Modos de Falha: O estudo identifica que os agentes não apenas "falham" em mudar; eles se estabelecem em rotinas estáveis e recorrentes (atratores) que podem ser eficientes (se o ambiente for estável) ou rígidas (se o ambiente mudar).
Dependência de Contexto: Os resultados espelham achados da psicologia cognitiva: os agentes herdam a dependência de contexto onde a "perseveração" é eficiente em configurações estáveis, mas custosa em configurações de mudança.
Eficácia da Intervenção: O artigo demonstra que tanto intervenções instrucionais (prompts de política) quanto estruturais (enquadramento de conjunto) podem alterar esses padrões de travamento. Especificamente, enquadrar ferramentas como concorrentes em vez de complementares pode encorajar os agentes a se comprometer com uma única fonte confiável em vez de diluir o esforço em uma rotina mista.
Modéstia: Os autores reconhecem limitações, incluindo o uso de apenas dois modelos de pesos abertos e a falta de uma métrica quantitativa para "enquadramento". Eles observam que se esses comportamentos constituem "falhas" ou "funcionalidades" depende dos requisitos específicos da tarefa (fluxos de trabalho decisivos vs. fluxos de trabalho exploratórios).

O trabalho sugere que os atuais harnesses agênticos podem inadvertidamente incentivar a rigidez, e que o design da apresentação dos conjuntos de ferramentas (enquadramento) ou instruções de política explícitas pode alterar significativamente a capacidade de um agente de se adaptar a mudanças ocultas no ambiente.