Resumo Técnico: Sistema Agêntico como Compressor: Quantificando a Inteligência do Sistema em Bits

1. Declaração do Problema

Grandes Modelos de Linguagem (LLMs) estão sendo implementados cada vez mais não como preditores isolados, mas como sistemas agênticos que integram ferramentas, mecanismos de recuperação, restrições de ambiente, verificadores e busca de múltiplos turnos. As métricas de avaliação atuais (ex: acurácia, taxa de sucesso) falham em capturar a origem da capacidade dentro desses fluxos de trabalho complexos. Uma alta taxa de sucesso não distingue se o desempenho provém da habilidade de predição intrínseca do modelo ou de componentes externos (ex: um recuperador fornecendo evidências, um ambiente baseado em regras filtrando movimentos ilegais, ou um verificador corrigindo erros). Além disso, as taxas de sucesso carecem de resolução em tarefas difíceis onde ambos os sistemas "quase falham" (sucesso próximo de zero), apesar de possuírem níveis de incerteza residual vastamente diferentes sobre o espaço alvo.

O artigo aborda a necessidade de um framework analítico unificado e detalhado para quantificar a inteligência do sistema, medindo quanto da incerteza residual diferentes componentes (modelos, ferramentas, ambientes) removem de uma distribuição alvo.

2. Metodologia: Comprimento de Código Agêntico

Os autores operacionalizam o princípio de que "compressão é inteligência" tratando um sistema agêntico como um compressor condicional. Sob uma distribuição de tarefa, padrão de observação, interface de sistema e orçamento de computação fixos, um sistema mais inteligente requer menos bits para reconstruir um objeto alvo.

2.1 Estrutura Teórica

• Definição de Sistema Agêntico: Definido como uma tríade $A = (P, M, E)$, onde $P$ é o programa, $M$ representa as interfaces do modelo e $E$ representa as interfaces de ambiente (ferramentas, APIs, recuperadores).
• Compressão Condicional: O sistema comprime um alvo $x$ dada uma condição pública $c$ (ex: um prompt ou especificação de tarefa). O comprimento do código $L(x|c)$ mede a informação que o codificador deve transmitir para permitir que um decodificador (compartilhando as mesmas condições de sistema) reconstrua $x$.
• Equivalência Observacional: A reconstrução não exige recuperação byte a byte exata. Em vez disso, a saída do decodificador $\hat{x}$ deve satisfazer $y \approx_O x$ sob uma família de observações $O$ (ex: equivalência funcional na dobra de proteínas ou equivalência semântica na narrativa).
• Valor do Componente: A contribuição de um componente específico $g$ é definida como a redução marginal no comprimento de código médio: $\Delta_g = \bar{L}_{\Pi \setminus g} - \bar{L}_{\Pi_g}$.

2.2 Esquemas de Codificação

Para estimar o comprimento do código em configurações agênticas, os autores propõem um protocolo compress–decompress executável combinando três esquemas:

1. Codificação Aritmética: Usada para codificação exata de saídas específicas. Ela acumula a log-verossimilhança negativa (NLL) token por token, convertendo predições do modelo em comprimento de código.
2. Codificação de Semente (Seed Coding): Usada para tarefas com saídas qualificadoras densas (ex: ambientes determinísticos ou replicáveis). O codificador transmite uma descrição latente mais o ranking da primeira semente aleatória que produz uma saída qualificadora. O custo é $\lceil \log_2 N \rceil$ bits, onde $N$ é o orçamento de amostragem.
3. Fallback: Se a codificação de semente falhar dentro do orçamento, o sistema recorre à codificação aritmética. Um seletor de 1 bit distingue o caminho.

3. Principais Contribuições

1. Perspectiva de Nível de Sistema: O artigo é o primeiro a aplicar a visão de "compressão é inteligência" a sistemas agênticos em vez de modelos isolados, tratando ferramentas, ambientes e processos de interação como partes integrantes do mecanismo de compressão.
2. Métrica de Valor de Bit Marginal: Introduz uma métrica quantitativa para analisar a contribuição de componentes específicos (ex: um recuperador ou verificador) via redução do comprimento de código médio, oferecendo maior resolução do que taxas de sucesso.
3. Protocolo Executável: Combina codificação aritmética, replicação de semente e fallback em um protocolo unificado capaz de medir o comprimento do código através de diversos tipos de tarefas.
4. Validação Empírica: Valida o framework em cinco configurações distintas, demonstrando sua capacidade de analisar o valor do componente, granularidade de observação e trade-offs de computação.

4. Resultados Experimentais

O framework foi avaliado em cinco configurações (A–E), isolando componentes agênticos típicos:

• A. Texto Invertido (Ferramenta Determinística): O uso de uma transformação reversa compartilhada reduziu o comprimento de código de 2.877 para 0.742 bits/byte, demonstrando que ferramentas determinísticas podem reduzir drasticamente a incerteza residual.
• B. Movimentos de Xadrez (Ambiente Baseado em Regras): A imposição de restrições de movimentos legais via um ambiente baseado em regras reduziu o comprimento de código de 9.828 para 6.545 bits/movimento (economizando 3.283 bits/movimento), mostrando como as restrições do ambiente encolhem o espaço de candidatos.
• C. Sequências de Proteínas (Templates Científicos):
  • Templates homólogos calibrados reduziram o comprimento de código de 200.65 para 116.80 bits/seq (83.85 bits economizados).
  • C' (Equivalência Funcional & Verificador): Em uma tarefa de equivalência funcional onde as taxas de sucesso eram baixas, adicionar feedback de verificador e reparo reduziu o comprimento de código médio de 402.99 para 27.58 bits/seq (economizando 375.41 bits/seq), mesmo enquanto as taxas de sucesso subiram apenas de 68% para 98%. Isso destaca a sensibilidade da métrica onde as taxas de sucesso estagnam.
• D. Geração Aumentada por Recuperação (RAG): Documentos relevantes reduziram o comprimento de código da resposta em 18.29 bits em média comparado à falha de recuperação. Documentos distratores forneceram ajuda negligenciável (2.95 bits), e a recuperação mista manteve a maior parte do ganho, provando que o valor da recuperação é precificado continuamente pela relevância.
• E. Compressão Semântica de Histórias:
  • Granularidade de Observação: À medida que o padrão do observador se tornava mais rigoroso (da preservação de caracteres para a correção total de enredo/final), o comprimento de código aumentava monotonicamente, confirmando que a capacidade de compressão é relativa ao padrão de observação.
  • Trade-off de Computação: Aumentar o orçamento de rollout do resumo ($T$) melhorou a compressão (reduzindo bits de 292.1 para 127.5), mas com retornos decrescentes, estabelecendo uma fronteira de Pareto entre o orçamento de computação e o comprimento de código.

5. Significância e Alegações

O artigo afirma que o comprimento de código agêntico serve como uma ferramenta de contabilidade unificada para a incerteza residual entre diferentes fontes de informação e critérios de sucesso.

• Resolução do "Quase Falha": A métrica pode distinguir entre sistemas que possuem taxas de sucesso próximas de zero, mas diferem significativamente na redução da incerteza residual (ex: o experimento de equivalência funcional de proteínas).
• Análise de Componentes: Permite a quantificação do "valor de bit marginal", possibilitando que engenheiros entendam exatamente quanto um recuperador, verificador ou restrição de ambiente contribui para a capacidade do sistema.
• Relatividade da Inteligência: O artigo argumenta que a inteligência não é uma propriedade absoluta de um modelo, mas é relativa ao protocolo (distribuição, observador, interface e orçamento). Um fluxo de trabalho agêntico altera efetivamente a "linguagem de descrição", movendo informação da mensagem por instância para o protocolo compartilhado e o sistema de decodificação.
• Pseudo-Entropia Agêntica: Os autores propõem uma extensão teórica, a "pseudo-entropia agêntica", para definir a incompressibilidade de dados em relação a uma classe de sistemas agênticos restritos, caracterizando a verdadeira complexidade restante após explorar todas as ferramentas e estratégias de busca disponíveis.

Os autores mantêm uma postura modesta, observando que estes experimentos são de pequena escala e controlados para verificar mecanismos, em vez de servirem como um benchmark final para sistemas implantados. Os resultados oferecem orientação metodológica para avaliar sistemas reais, em vez de rankings de desempenho definitivos.