🤖 AI

Lomekwi: Resource-Bounded Tool Discovery in LLM Agents

Este artigo propõe uma estrutura inspirada na ciência cognitiva que decompõe a descoberta de ferramentas em curiosidade, reconhecimento e eficiência, revelando que as capacidades de reconhecimento escalam inversamente com o tamanho do modelo através da análise de jogos combinatórios e ambientes de tarefas do mundo real.

Autores originais: Roshan Klein-Seetharaman, Daniel Wang, Andrew Xu

Publicado 2026-07-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Roshan Klein-Seetharaman, Daniel Wang, Andrew Xu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está observando um robô aprender a sobreviver em um novo mundo. Por muito tempo, cientistas têm testado esses robôs entregando-lhes uma caixa de ferramentas e perguntando: "Você consegue usar este martelo para consertar a parede?" ou "Você consegue usar esta chave inglesa para apertar esse parafuso?". Se o robô conserta a parede, dizemos que ele é inteligente. Mas isso é como testar um chef perguntando apenas se ele sabe usar uma faca que acabou de receber, sem nunca ver se ele pensaria em pegar uma por conta própria. No mundo real, e na natureza, ser inteligente não é apenas sobre usar ferramentas que você já conhece; é sobre olhar para uma pilha de lixo aleatório e perceber: "Ei, se eu juntar estas duas coisas, posso fazer uma ferramenta!". Este artigo mergulha nessa peça que faltava: o momento da descoberta. Ele faz uma pergunta simples, mas complicada: À medida que os robôs (especificamente, modelos de linguagem de IA) ficam maiores e mais inteligentes, eles realmente ficam melhores em inventar suas próprias ferramentas, ou apenas ficam melhores em usar aquelas que lhes são ensinadas?

Os pesquisadores por trás deste estudo, trabalhando com uma equipe da Yale e da Sea12 Technologies, decidiram parar de apenas medir se o robô vence o jogo. Em vez disso, eles dividiram o jogo em três etapas distintas, como uma receita para a invenção. Primeiro, há a Curiosidade: O robô sequer procura pelas partes de que precisa? Segundo, há o Reconhecimento: Uma vez que ele tem as partes, ele percebe: "Oh, eu posso combinar estas para fazer uma máquina"? E terceiro, há a Eficiência: Uma vez que ele constrói a máquina, ele consegue realmente usá-la para vencer? Eles construíram um parquinho digital especial chamado "Lomekwi" (nomeado após um lugar real onde humanos antigos usaram ferramentas de pedra pela primeira vez) para testar isso. Neste jogo, o robô tem que abrir portas trancadas. Ele pode tentar forçar cada porta individualmente até encontrar as chaves (um processo lento e entediante), ou pode encontrar fragmentos específicos, combiná-los para criar uma máquina e usar essa máquina para abrir as portas instantaneamente.

É aqui que as coisas ficam estranhas e contraintuitivas. Você esperaria que os modelos de IA maiores e mais poderosos fossem os melhores em tudo: encontrar as partes, perceber como construir a máquina e usá-la. Mas o artigo sugere que algo surpreendente acontece. Embora os maiores modelos sejam ótimos no "trabalho pesado" (resolver problemas manualmente) e muito eficientes uma vez que possuem uma ferramenta, eles parecem perder o seu Reconhecimento. É como se os modelos mais inteligentes ficassem tão confiantes em sua própria capacidade de resolver problemas por força bruta que param de procurar atalhos. Eles ignoram a nova máquina brilhante que poderiam construir porque pensam: "Eu posso simplesmente fazer isso sozinho".

De fato, os pesquisadores descobriram que, à medida que os modelos ficavam maiores, eles na verdade tornavam-se piores em notar a oportunidade de construir uma ferramenta. Em um experimento, um modelo menor teve muito mais probabilidade de descobrir a receita da ferramenta do que um modelo massivo e superinteligente. Os grandes modelos estavam tão ocupados tentando resolver o quebra-cabeça com sua própria "força muscular" que perderam a solução do "cérebro". No entanto, o artigo também sugere que isso pode fazer parte de um padrão maior. Quando os pesquisadores deram aos grandes modelos uma pequena dica de que uma ferramenta poderia existir, os grandes modelos subitamente despertaram e começaram a procurar novamente, mostrando que não eram incapazes, apenas excessivamente confiantes.

Então, o que tudo isso significa? Acontece que ser um "usuário de ferramentas" e ser um "inventor de ferramentas" são duas habilidades muito diferentes. Um modelo pode ser um gênio em usar uma ferramenta depois que ela lhe é entregue, mas um fracasso total em perceber que precisa de uma em primeiro lugar. O artigo sugere que, conforme a IA cresce, podemos estar vendo uma queda nesse lampejo criativo de descoberta, não porque a IA esteja ficando mais burra, mas porque está ficando segura demais de sua própria capacidade de enfrentar problemas sem ajuda. É um lembrete de que, às vezes, a coisa mais inteligente que você pode fazer é parar de tentar fazer tudo sozinho e procurar uma ferramenta para ajudá-lo.

Resumo Técnico: LOMEKWI: DESCOBERTA DE FERRAMENTAS LIMITADA POR RECURSOS EM AGENTES LLM

Declaração do Problema

Os benchmarks existentes para o uso de ferramentas por Grandes Modelos de Linguagem (LLMs) avaliam primariamente a capacidade de um modelo em utilizar ou construir ferramentas quando explicitamente solicitado ou quando a existência da ferramenta é conhecida. Esses benchmarks frequentemente confundem uso de ferramenta com descoberta de ferramenta, falhando em medir se um agente decide autonomamente inventar uma ferramenta ao enfrentar um problema inédito. Além disso, métricas padrão tipicamente reportam uma única taxa de sucesso, obscurecendo os processos cognitivos específicos envolvidos na descoberta. Baseando-se na ciência cognitiva, os autores argumentam que a invenção de ferramentas é uma capacidade distinta do uso de ferramentas, e que as avaliações atuais não capturam a "disposição" de um agente para construir ferramentas sem instrução.

Metodologia

Estrutura Teórica: Decomposição da Descoberta de Ferramentas

O artigo propõe uma decomposição formal do processo de descoberta de ferramentas em três componentes probabilísticos separáveis, juntamente com um "grind" (força bruta) probabilístico:

Curiosidade ( $C$ ): A probabilidade de o agente reunir os componentes necessários (ingredientes) para construir uma ferramenta ($Pr(hold)$).
Reconhecimento ( $R$ ): A probabilidade de o agente, tendo os componentes, reconhecer a oportunidade e se comprometer com a construção da ferramenta ($Pr(build | hold)$).
Eficiência ( $E$ ): A probabilidade de o agente resolver a tarefa com sucesso usando a ferramenta construída ($Pr(win | build)$).
Grind ( $G$ ): A probabilidade de resolver a tarefa via força bruta sem uma ferramenta.

A probabilidade total de sucesso é definida como:
$S = C \cdot R \cdot E + G$
Esta estrutura permite o isolamento de modos específicos de falha (ex: um agente pode ser curioso e eficiente, mas falhar em reconhecer a necessidade de uma ferramenta).

Ambientes Experimentais

Para medir esses componentes sem contaminação de vieses de pré-treinamento, os autores introduzem dois ambientes:

Lomekwi (Jogo do Cofre Combinatório):
- Tarefa: Um agente deve abrir $n$ portas trancadas dentro de um orçamento de tokens/ações.
- Mecânica: O agente pode fazer "grind" examinando portas para encontrar chaves (força bruta) ou "construir" uma máquina coletando tipos específicos de fragmentos e combinando-os.
- Design: Para suprimir vieses (priors), todos os rótulos dos objetos (portas, chaves, fragmentos) são renomeados aleatoriamente por episódio usando letras únicas distintas.
- Medição: A curiosidade é medida pela posse dos fragmentos corretos; o reconhecimento pela construção da máquina; a eficiência pela abertura de todas as portas.
Reconhecimento MCP (Protocolo de Contexto de Modelo):
- Tarefa: Um problema de divisão longa que o agente pode resolver manualmente (grind) ou chamando uma de $T$ ferramentas candidatas.
- Mecânica: Exatamente uma ferramenta (o oráculo) resolve o problema instantaneamente; as outras são iscas que retornam "sem resultado".
- Design: Este ambiente isola o Reconhecimento ao fornecer todos os "ingredientes" (as ferramentas) antecipadamente, removendo a Curiosidade e a Eficiência como variáveis.
- Condições: Testado sob um prompt de "linha de base" (ferramentas existem) e um prompt de "viés de ferramenta" (afirmando explicitamente que uma ferramenta resolve o problema).

Modelos Avaliados

O estudo avalia uma gama de modelos, incluindo a família Claude da Anthropic (Haiku, Sonnet, Opus) e múltiplas famílias Qwen (Qwen2.5, Qwen3, Qwen3.5) com contagens de parâmetros variando de 0.5B a 72B.

Principais Contribuições

Estrutura de Decomposição: Uma separação formal da descoberta de ferramentas em Curiosidade, Reconhecimento e Eficiência, permitindo uma análise granular do comportamento do agente.
Ambientes Controlados: A introdução dos ambientes Lomekwi e Reconhecimento MCP, que utilizam supressão de viés (renomeação aleatória) para medir a descoberta genuína em vez de mera recuperação de memória.
Escalonamento Inverso de Descoberta: Evidência empírica de que o Reconhecimento escala inversamente com o tamanho do modelo em certos regimes, significando que modelos maiores são menos propensos a descobrir ou se comprometer com o uso de ferramentas do que modelos menores.
Hipótese de Escalonamento em Forma de U: Evidência sugerindo que, embora o reconhecimento caia em modelos intermediários, ele pode se recuperar nos maiores modelos sob condições específicas (prompts de viés de ferramenta), formando uma curva de escalonamento em forma de U.

Resultados

Escalonamento Inverso do Reconhecimento

No ambiente Lomekwi, enquanto o sucesso geral ( $S$ ), a Curiosidade ( $C$ ) e a Eficiência ( $E$ ) geralmente escalam positivamente com o tamanho do modelo, o Reconhecimento ( $R$ ) exibe uma tendência inversa.

Observação: Modelos maiores (ex: Claude Opus, Qwen3.5 27B) construíram a máquina necessária com menos frequência do que seus equivalentes menores (ex: Claude Haiku, Qwen3.5 4B).
Causa: A análise do ambiente de Reconhecimento MCP revelou que modelos maiores, sendo mais capazes na tarefa subjacente (divisão longa), escolheram fazer "grind" (resolver manualmente) em vez de explorar ferramentas. Eles abandonaram o comportamento exploratório necessário para o reconhecimento porque estavam confiantes em suas capacidades manuais.

O Papel da Autoconfiança

O artigo atribui o escalonamento inverso a uma falha de calibração em modelos de médio a grande porte:

Modelos Pequenos: Carecem de capacidade para resolver a tarefa manualmente, sendo forçados a sondar ferramentas por necessidade (alto reconhecimento).
Modelos Intermediários: Possuem capacidade suficiente para tentar soluções manuais, mas carecem de confiabilidade para ter sucesso consistentemente. Eles tornam-se excessivamente confiantes, abandonam a exploração de ferramentas e falham tanto na tentativa manual quanto na descoberta da ferramenta.
Modelos Grandes: No ambiente de "viés de ferramenta" do Reconhecimento MCP, os maiores modelos recuperaram suas taxas de reconhecimento. Eles reconheceram a existência da ferramenta como uma "proteção" (hedge) contra o fracasso, combinando a capacidade manual com a exploração de ferramentas. Isso resultou em uma curva de escalonamento em forma de U para o reconhecimento entre as famílias de modelos.

Eficiência vs. Sucesso

Os resultados demonstram que métricas de sucesso agregadas são insuficientes. Um modelo pode alcançar alto sucesso geral através do grind (resolução manual) enquanto exibe quase zero descoberta de ferramentas. Isso mascara um déficit na capacidade do agente de identificar estratégias eficientes e reutilizáveis.

Significância e Alegações

O artigo afirma que suas descobertas necessitam de uma visão mais matizada do uso de ferramentas por LLMs, separando o uso de ferramenta da descoberta de ferramenta.

Limitações dos Benchmarks Atuais: Os benchmarks atuais, que reportam taxas únicas de sucesso ou exigem a criação de ferramentas, falham em detectar o escalonamento inverso do reconhecimento. Eles confundem ganhos de eficiência com capacidades de descoberta.
Paralelo Cognitivo: O trabalho alinha-se com a literatura de ciência cognitiva (ex: crianças usando ferramentas antes de inventá-las; dissociação neurológica entre uso e invenção), sugerindo que os LLMs exibem dissociações semelhantes.
Falha de Calibração: O escalonamento inverso do reconhecimento destaca um problema de calibração onde a decisão do modelo de buscar ferramentas está desalinhada com sua capacidade real. À medida que os modelos se tornam mais capazes, eles podem se tornar menos propensos a buscar soluções eficientes e generalizáveis (ferramentas) em favor de computação imediata e de força bruta.

Os autores concluem que, embora tenham identificado este fenômeno em ambientes controlados e parametrizados, trabalhos futuros são necessários para determinar como essas descobertas se transferem para tarefas de descoberta de ferramentas mais naturais e do mundo real, onde os vieses (priors) são onipresentes.