HarnessCompass: Guiding Automatic Harness Evolution toward Generalizable and Effective Agent Harnesses
O HarnessCompass é um novo framework de evolução automática de harness que melhora o desempenho e a generalização do agente ao impor restrições agnósticas à tarefa, integrar feedback proativo do agente e desacoplar a otimização de componentes, alcançando, assim, resultados superiores no SWE-bench Verified em comparação com os métodos existentes.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você acabou de construir um cérebro robótico brilhante e superinteligente. Ele consegue ler livros, escrever código e resolver quebra-cabeças melhor do que quase qualquer outra pessoa. Mas há um porém: este cérebro é como um gênio que nunca saiu do próprio quarto. Ele não sabe como falar com o mundo exterior, como usar uma chave de fenda ou até mesmo como pedir ajuda quando fica travado. Para fazer este cérebro realmente fazer coisas no mundo real, você precisa construir um "corpo" e um "painel de controle". No mundo da inteligência artificial, esse painel de controle é chamado de harness (ou estrutura de controle). É a camada de software que diz à IA como ver a tela do computador, quais ferramentas ela pode usar e como reagir quando algo dá errado. Pense nisso como o tradutor entre os pensamentos selvagens da IA e as regras rígidas de um computador.
Por muito tempo, os engenheiros tiveram que construir esses painéis de controle manualmente, ajustando-os como um mecânico afinando um carro de corrida. Mas, à medida que os cérebros de IA ficam mais inteligentes, os antigos painéis de controle tornam-se o gargalo. Eles não conseguem acompanhar. Por isso, os cientistas começaram a tentar deixar a IA consertar seu próprio painel de controle automaticamente. Eles criaram "meta-agentes" (pequenos supervisores) que observam o trabalho da IA, veem onde ela falha e tentam reescrever as regras para torná-la melhor. Parece um sonho, mas há um problema: esses supervisores costumam ser espertos demais para o seu próprio bem. Eles começam a memorizar as perguntas específicas dos testes em vez de aprender habilidades gerais, de forma semelhante a um aluno que memoriza as respostas de um simulado, mas reprova no exame real porque as perguntas são ligeiramente diferentes. Eles também tendem a culpar as coisas erradas pelos erros e tentam consertar tudo de uma só vez, o que frequentemente deixa o sistema mais confuso.
É aqui que entra um novo framework chamado HarnessCompass. Os pesquisadores por trás dele perceberam que, para construir um painel de controle verdadeiramente inteligente e adaptável, você não pode simplesmente deixar o supervisor agir sem controle. Você precisa dar a ele uma bússola. Em vez de permitir que a IA faça qualquer mudança que quiser, o HarnessCompass a força a seguir três regras estritas. Primeiro, ele proíve o "overfitting" (sobreajuste). A IA não tem permissão para codificar respostas para problemas específicos; ela deve aprender princípios gerais que funcionem para qualquer problema, não apenas para aqueles em que está praticando. Segundo, ele pede que a IA se manifeste. Em vez de apenas olhar para a pontuação final, o sistema pergunta à IA: "Ei, onde você se sentiu travada? Que ferramenta você gostaria de ter tido?". Isso dá ao supervisor uma perspectiva de primeira pessoa sobre a dificuldade, em vez de apenas observar o acidente de fora. Terceiro, ele impede que a IA tente consertar o motor, os pneus e o volante ao mesmo tempo. Em vez disso, ele os otimiza um por um, garantindo que um ajuste no motor não acabe quebrando os freios por acidente.
Os resultados dessa abordagem disciplinada são impressionantes. Quando testado em um enorme conjunto de desafios de programação do mundo real chamado SWE-bench Verified, o HarnessCompass pegou um agente de IA e aumentou sua taxa de sucesso de 54% para 66% em apenas 5 rodadas de evolução. Esse é um salto enorme, e aconteceu muito mais rápido do que métodos anteriores, que precisavam de 20 rodadas para atingir uma pontuação inferior de 63%. Mas a verdadeira magia não é apenas a velocidade; é a generalização. Quando os pesquisadores pegaram o painel de controle evoluído para um modelo de IA específico e o testaram em um modelo de IA completamente diferente (um que nunca tinha visto antes), ele ainda funcionou melhor do que a configuração original. Isso sugere que o HarnessCompass não apenas ensinou a IA a memorizar o teste; ele realmente a ensinou a ser uma engenheira melhor em geral. O artigo sugere que, ao adicionar essas camadas de disciplina — restringindo as mudanças, ouvindo as próprias reclamações da IA e consertando as partes separadamente — podemos construir sistemas de IA que não são apenas poderosos, mas também confiáveis o suficiente para lidar com o mundo real, que é bagunçado e imprevisível.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.