🤖 AI

The Hidden Footprint: Making Storage a First-Class Metric for LLM Agent Evaluation

Este artigo introduz o AgentFootprint, um benchmark que revela que as pegadas de armazenamento persistente de agentes de LLM variam drasticamente entre frameworks e configurações independentemente da precisão da tarefa, ao mesmo tempo em que demonstra que o armazenamento baseado em conteúdo pode reduzir significativamente esse overhead sem comprometer a reconstruibilidade dos dados.

Autores originais: Chenglin Yu, Hongquan Gui, Ying Yu, Hongxia Yang, Ming Li

Publicado 2026-07-14

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chenglin Yu, Hongquan Gui, Ying Yu, Hongxia Yang, Ming Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está assistindo a um brilhante robô detetive resolver um mistério. Ele lê pistas, faz perguntas e escreve sua resposta final. Todos aplaudem quando o detetive acerta a resposta, e eles verificam o quão rápido ele pensou e quanto custou para rodar. Mas ninguém está olhando para a sujeira que o detetive deixa pelo chão.

Este artigo, chamado The Hidden Footprint (A Pegada Escondida), é como um relatório de um zelador. Ele pergunta: "Quando o detetive termina, quanta sujeira ele deixa na sala?"

A Grande Surpresa: A Sujeira é Enorme

A principal descoberta é chocante: Dois detetives podem resolver exatamente o mesmo mistério perfeitamente, mas um deixa para trás uma pilha de lixo 15,7 vezes maior que o outro.

Pense nisso como se fosse assim: Você e seu amigo assam o mesmo bolo de chocolate perfeito. Você entrega o bolo (o resultado). Mas, enquanto você apenas limpou o balcão, seu amigo deixou para trás 15 tigelas, 30 xícaras de farinha e uma montanha de embalagens pegajosas. O bolo parece o mesmo, mas a cozinha do seu amigo é uma zona de desastre.

No mundo real, essa "sujeira" não é apenas papel; são bytes digitais armazenados em um disco rígido. Os pesquisadores descobriram que, para uma única tarefa, alguns frameworks deixam para trás 131 MB de dados, enquanto a resposta real (o "bolo entregue") era de apenas 2,6 MB. Isso significa que o "resíduo" do framework foi 24.033 vezes maior do que o trabalho que ele deveria ter feito!

O Truque da "Contagem Invisível" de Dupla Contagem

Aqui está a parte complicada: Se você apenas contar os arquivos no computador, pode pensar que a sujeira não é tão ruim. O artigo argumenta que a contagem padrão é uma armadilha.

Imagine que você escreve a palavra "Olá" em um papel. Então, você fotocopia esse papel, mas a fotocopiadora adiciona um carimbo de "tinta invisível" minúsculo em cada cópia. Se você contar o papel, vê uma folha. Mas se olhar para a tinta, vê a palavra "Olá" escrita doze vezes.

Os pesquisadores descobriram que, devido à forma como os computadores salvam dados (usando coisas como páginas "SQLite" e escape de "JSON"), a mesma informação é armazenada repetidamente, escondida dentro do sistema.

A contagem ingênua disse: "Oh, há apenas uma pequena duplicação."
A contagem inteligente do artigo disse: "Na verdade, o mesmo conteúdo é armazenado 12,1 vezes!"

Eles provaram que, se você não olhar para dentro da "tinta invisível", perderá o tamanho real da sujeira por uma margem enorme.

O Problema do "Crescimento"

O artigo também testou o que acontece quando o detetive tem que verificar a mesma pista 200 vezes.

Alguns frameworks (como LangGraph e AutoGen) agem como um esquilo que nunca esquece nada. Cada vez que verifica a pista, ele escreve o histórico inteiro novamente. Isso faz com que o armazenamento cresça de forma superlinear (cada vez mais rápido). Após 200 rodadas, eles deixaram para trás 323 MB de dados apenas para um arquivo minúsculo.
Outros frameworks (como OpenAI Agents) agem como um anotador inteligente. Eles escrevem apenas as coisas novas. Seu armazenamento cresceu lentamente, quase em uma linha reta.

O artigo mediu essa taxa de crescimento (chamada de $\alpha$ ) e descobriu que ela variou de 0,73 (diminuindo!) a 1,95 (explodindo em tamanho).

Uma Sujeira Maior Significa um Detetive Mais Inteligente?

Você pode pensar: "Talvez o detetive bagunceiro esteja sendo extra cuidadoso, então ele é mais inteligente?"
O artigo diz: Não.

Eles analisaram 108 submissões do mundo real de um famoso desafio de codificação (SWE-bench). Descobriram que a quantidade de dados exportados por esses sistemas variava 1.617 vezes (de arquivos minúsculos a enormes). Mas aqui está o detalhe: Não havia conexão entre o tamanho da sujeira e o quão bem o sistema resolveu o problema.

Na verdade, a correlação era tão fraca que era basicamente zero. Um sistema poderia deixar para trás uma montanha de dados e ainda assim falhar, ou deixar para trás uma pegada minúscula e ter sucesso. O artigo descarta explicitamente a ideia de que "mais armazenamento = melhor desempenho".

O "Borracha Mágica" (Mas Não Compre Ainda)

Os pesquisadores não apenas apontaram o problema; eles mostraram uma maneira de consertá-lo, mas são cuidadosos ao dizer que isso é uma prova de conceito, não um produto finalizado.

Eles construíram um "armazenamento baseado em conteúdo" (content-addressed store). Imagine uma biblioteca onde, em vez de colocar cada livro em uma prateleira, você tira uma foto da impressão digital única do livro. Se dois livros forem idênticos, você guarda apenas uma foto e uma nota dizendo "Este é o mesmo que aquele".

Quando aplicaram essa "borracha mágica" aos frameworks bagunceiros:

Reduziu o armazenamento de 4,8 a 32,7 vezes.
Crucialmente, eles provaram que, mesmo com todos esses dados removidos, você ainda poderia reconstruir perfeitamente todo o histórico da conversa. A "pontuação" para ser capaz de reproduzir os pensamentos do detetive permaneceu exatamente a mesma.

O Que o Artigo Descarta

Ele descarta a ideia de que devemos apenas ignorar o armazenamento porque "é barato". O artigo argumenta que o armazenamento é uma dívida persistente que se acumula ao longo do tempo, ao contrário do custo de rodar a IA, que desaparece quando a tarefa termina.
Ele descarta a ideia de que os contadores de arquivos padrão são precisos. Eles mostraram que a contagem simples perde a duplicação escondida dentro do código do sistema.
Ele descarta a ideia de que trilhas de dados maiores significam melhores resultados. Os dados não mostram ligação entre tamanho e sucesso.

O Quão Certos Eles Estão?

Os autores estão muito seguros sobre as medições que realizaram. Eles executaram 1.061 experimentos em salas de computador isoladas e limpas (sandboxes) para garantir que nada mais interferisse. Eles testaram 8 frameworks diferentes (como LangGraph, CrewAI e AutoGen) usando exatamente as mesmas tarefas e modelos.

Eles não apenas adivinharam; eles mediram. Descobriram que, sob condições idênticas, a quantidade de dados deixados para trás variava 15,7 vezes entre os melhores e os piores desempenhos. Eles também mostraram que essa diferença não é porque um framework é "mais inteligente" na resolução de tarefas, mas devido à forma como eles são construídos para salvar dados.

A Conclusão

O artigo conclui que precisamos começar a medir a "pegada" dos agentes de IA da mesma forma que medimos sua velocidade ou custo. No momento, estamos permitindo que alguns sistemas deixem para trás montanhas de lixo digital enquanto outros deixam quase nada, e acontece que os bagunceiros não estão fazendo um trabalho melhor.

Os autores sugerem que, se quisermos rodar esses agentes em escala massiva (como uma frota de 10.000 robôs por dia), a diferença entre um framework "limpo" e um "bagunceiro" pode significar a diferença entre precisar de 3 GB de armazenamento ou 51 GB todos os dias. Essa é uma diferença enorme para um problema que, como demonstraram, nem sequer torna o robô mais inteligente.

Resumo Técnico: A Pegada Oculta: Tornando o Armazenamento uma Métrica de Primeira Classe para a Avaliação de Agentes de LLM

1. Declaração do Problema

Os benchmarks atuais para agentes de Grandes Modelos de Linguagem (LLMs) focam na conclusão de tarefas, confiabilidade (ex: pass@k) e custo de inferência. No entanto, eles ignoram sistematicamente a pegada de armazenamento persistente — os bytes que uma execução de agente deixa no disco após a conclusão. Isso inclui logs, snapshots de contexto, checkpoints, traços de depuração (debug traces) e bancos de dados de sessão.

O artigo argumenta que essa omissão é crítica porque:

Persistência vs. Fluxo: Ao contrário do custo de inferência (um fluxo consumido durante a execução), o armazenamento é um estoque que se acumula através das execuções, impactando os custos de armazenamento a longo prazo, a conformidade de retenção de dados e a capacidade de reexibir ou auditar o comportamento do agente.
Subestimação: Em implantações de produção, o resíduo do framework pode exceder os artefatos entregues em ordens de magnitude (ex: 79 MB de resíduo vs. 2,6 MB de saída).
Armadilhas de Medição: Medições ingênuas ao nível de bytes (ex: du -sh) falham em detectar a duplicação lógica porque mecanismos de serialização como o paging do SQLite e o escape de JSON obscurecem o conteúdo repetido. Por exemplo, um armazenamento que logicamente contém o mesmo conteúdo 12 vezes pode reportar um fator de duplicação ( $D$ ) de apenas 1,01 quando medido no nível de arquivo bruto.

2. Metodologia: AgentFootprint

Os autores introduzem o AgentFootprint, um benchmark sistemático cross-framework projetado para medir pegadas de armazenamento pós-execução.

2.1 Configuração Experimental

Frameworks: Oito frameworks representativos foram avaliados: LangGraph, AutoGen, CrewAI, SmolAgents, OpenAI Agents SDK, LlamaIndex, Agno e InfiAgent.
Controle: Todos os frameworks foram executados sob condições idênticas: o mesmo modelo de backend (DeepSeek-V4-Flash, temperatura 0), ferramentas idênticas e configurações documentadas de "sessão durável" (sem ajuste específico de armazenamento).
Isolamento: Cada execução ocorreu em um sandbox fresco (containers Docker) com diretórios de workspace e home capturados via snapshot antes e depois da execução para isolar o delta.
Suítes de Tarefas:
- File-QA: 10 tarefas envolvendo a releitura de documentos para testar a amplificação de leitura.
- Long-Horizon: 25–200 rodadas de releitura de um arquivo de status de 2 KB para medir expoentes de crescimento.
- Write-Task: Geração de arquivos de resumo para comparar artefatos legítimos vs. resíduo de framework.
- Exploratória/Heterogênea: Tarefas avaliadas tanto pela correção da resposta quanto pela entrega de artefatos.
- Controle de Trace Fixo: Replay de uma trajetória idêntica através de diferentes adaptadores para isolar a amplificação da camada de persistência do comportamento do agente.

2.2 Suíte de Métricas

O benchmark define seis métricas para lidar com o mascaramento de serialização e a ambiguidade semântica:

$S_{total}$ : Total de bytes retidos (artefatos do workspace + resíduo do framework).
Composição do Armazenamento: Decomposição por canal (estado/checkpoints, logs de depuração, histórico de conversação, etc.).
$D$ (Fator de Duplicação): $S_{logical}^{total} / S_{unique}$ . Calculado através da análise de fluxos de conteúdo lógico (células SQLite, linhas JSONL), em vez de arquivos brutos, usando chunking definido por conteúdo (FastCDC) e sondas de conteúdo para detectar duplicatas escapadas em JSON.
$\alpha$ (Expoente de Crescimento): Ajustado de $\log S_{total} \sim \alpha \log T$ sobre tarefas de observação repetida para determinar se o armazenamento cresce de forma linear, sublinear ou superlinear.
$C$ (Compressibilidade): Razão entre $S_{total}$ e seu tamanho sob compressão zstd (uma base sintática).
$R$ (Pontuação de Reconstrutibilidade): Uma pontuação de 0 a 3 indicando se os bytes retidos permitem a reconstrução exata do histórico de conversação no passo $k$ .

3. Resultados Principais

3.1 Precisão Igual, Dispersão Massiva

Diferença de 15,7×: Com uma precisão idêntica de 100%, os bytes retidos variaram por um fator de 15,7 entre os frameworks (LangGraph: 5,10 MB vs. CrewAI: 0,32 MB por tarefa).
Retenção Zero: O SmolAgents reteve 0 bytes, alcançando 100% de precisão, mas oferecendo nenhuma capacidade de replay ou recuperação ( $R=0$ ).
Dominância de Resíduo: Em tarefas de escrita, o resíduo do framework excedeu os arquivos de saída legítimos em até 24.033×.

3.2 Regimes de Crescimento

Crescimento Superlinear: Frameworks que persistem o histórico completo em cada etapa (LangGraph, AutoGen, LlamaIndex) exibiram expoentes de crescimento ( $\alpha$ ) entre 1,74 e 1,95. Um loop de monitoramento de 200 rodadas deixou 323 MB de dados.
Crescimento Linear/Sublinear: Frameworks com contexto de janela ou armazenamentos limitados (InfiAgent, Agno, CrewAI) mantiveram-se próximos do linear ( $\alpha \approx 0,98–1,20$ ).
Amplificação de Trace Fixo: Ao reexibir uma trajetória idêntica, a camada de persistência sozinha causou uma diferença de 6,7× no tamanho retido entre os frameworks.

3.3 Serialização Mascara a Duplicação

O chunking de arquivo bruto reportou um fator de duplicação ( $D$ ) de 1,01 para o LangGraph.
A análise de fluxo lógico revelou $D = 12,8$ , indicando que a serialização (paging do SQLite, escape de JSON) obscurece uma redundância massiva.
Medições ingênuas subestimam a duplicação em uma ordem de magnitude.

3.4 Descobertas "In-the-Wild" (SWE-bench)

A análise de 108 submissões normalizadas por instância do SWE-bench Verified mostrou uma dispersão de 1.617× no volume de trajetória exportado.
Sem Correlação: Não houve correlação detectável entre o volume de trajetória e a taxa de resolução ( $\tau_b = 0,080, p = 0,222$ ). Trajetórias mais pesadas não correlacionaram com maior sucesso.

3.5 Potencial de Mitigação

Um compactador de armazenamento endereçado por conteúdo (CAS) reduziu a retenção em 4,8–32,7× entre os frameworks, preservando todos os scores de reconstrutibilidade ( $R$ ) e passando nos testes de restauração.
Isso demonstra que o "desperdício" é uma redundância removível, não um requisito fundamental para uma reconstrução de histórico de alta fidelidade.

4. Contribuições

Suíte de Métricas & Metodologia: Uma nova suíte de métricas ( $S_{total}, D, \alpha, C, R$ ) e uma metodologia de medição que leva em conta o mascaramento de serialização, revelando que contagens de bytes ingênuas subestimam significativamente a duplicação.
Benchmark AgentFootprint: Um harness reproduzível executando 1.061 execuções em sandbox através de oito frameworks, fornecendo a primeira comparação sistemática cross-framework de armazenamento pós-execução.
Estudo "In-the-Wild": Evidência do SWE-bench mostrando que o volume de armazenamento não está correlacionado com o sucesso e varia drasticamente mesmo entre submissões bem-sucedidas.
Prova de Existência: Uma demonstração de que um armazenamento endereçado por conteúdo pode reduzir a retenção em até 32,7× sem sacrificar a reconstrutibilidade do histórico, provando que as configurações padrão atuais estão longe do mínimo teórico.

5. Significância e Alegações

O artigo alega que a pegada de armazenamento é uma dimensão crítica e anteriormente não medida da avaliação de agentes. Argumenta-se que:

Armazenamento é um Recurso de Nível de Sistema: Como a pegada de memória para aplicativos móveis, as restrições de armazenamento não medidas limitam a implantação em escala (ex: operações de frota acumulando terabytes diariamente).
Padrões Não São Eficientes: Configurações "duráveis" documentadas frequentemente priorizam recursos de recuperação sobre eficiência, levando a um acúmulo massivo e desnecessário de armazenamento.
Precisão é Insuficiente: Leaderboards focados apenas em sucesso de tarefa ou custo de inferência penalizam frameworks por baixa precisão, mas ignoram frameworks que alcançam alta precisão com 15× mais armazenamento.
Reconstrutibilidade é Alcançável a Baixo Custo: O artigo demonstra que a reconstrução exata do histórico não requer megabytes de dados; o mesmo score $R=3$ pode ser alcançado com significativamente menos bytes se a redundância for gerenciada.

Os autores posicionam o AgentFootprint não como uma proposta para um novo sistema de armazenamento, mas como uma ferramenta de medição para expor a "pegada oculta" e permitir que a comunidade otimize a eficiência de armazenamento juntamente com a precisão.