Externalization in LLM Agents: A Unified Review of Memory, Skills, Protocols and Harness Engineering

Título: Externalização em Agentes LLM: Uma Revisão Unificada de Memória, Habilidades, Protocolos e Engenharia de Harness

1. Problema

Os agentes baseados em Grandes Modelos de Linguagem (LLMs) estão enfrentando limitações fundamentais quando dependem exclusivamente das capacidades internas do modelo (pesos paramétricos) e do contexto imediato (janela de contexto). O artigo identifica três "desajustes" recorrentes que impedem a criação de agentes confiáveis para tarefas de longo prazo e complexas:

1. Problema de Continuidade: A janela de contexto é finita e efêmera. Agentes perdem o estado, preferências do usuário e histórico de execução entre sessões, dificultando a continuidade em tarefas de longo horizonte.
2. Problema de Variância Procedural: Modelos tendem a "reinventar" o conhecimento procedural a cada execução. Isso leva a inconsistências, passos omitidos e falhas na execução de fluxos de trabalho complexos, pois o modelo não possui um guia operacional estável e reutilizável.
3. Problema de Coordenação: A interação com ferramentas, serviços e outros agentes baseada apenas em prompts livres é frágil. A falta de contratos explícitos resulta em formatos de mensagem inconsistentes, problemas de permissão e dificuldade de recuperação de erros.

O paradigma atual de "modelos maiores e melhores" não resolve esses problemas sistemicamente, pois eles são inerentes à arquitetura de inferência estática do modelo, e não apenas à falta de dados de treinamento.

2. Metodologia e Estrutura Teórica

O artigo adota uma abordagem de revisão sistemática e análise de sistemas, fundamentada na teoria dos Artefatos Cognitivos de Donald Norman.

• Premissa Central: A inteligência não reside apenas no modelo, mas na reorganização do sistema cognitivo. A "externalização" é a lógica de transição que move cargas cognitivas difíceis de gerenciar internamente para estruturas externas persistentes, inspecionáveis e reutilizáveis.
• Analogia Histórica: O artigo traça um paralelo entre a evolução da cognição humana (pensamento $\to$ linguagem $\to$ escrita $\to$ impressão $\to$ computação) e a evolução dos agentes LLM (pesos $\to$ contexto $\to$ infraestrutura/harness).
• Estrutura Analítica: O trabalho decompõe a arquitetura do agente em três dimensões de externalização (Memória, Habilidades, Protocolos) unificadas por uma camada de engenharia de Harness (ambiente de execução).

3. Contribuições Principais

O artigo propõe um framework unificado que categoriza a evolução dos agentes LLM em quatro pilares principais:

A. Memória (Externalização do Estado)

• Conceito: Transforma o problema de "recordar" (recall) interno em um problema de "reconhecer e recuperar" (recognition/retrieval) externo.
• Dimensões: O estado é externalizado em quatro camadas:
  1. Contexto de Trabalho: Estado imediato da tarefa (arquivos, variáveis).
  2. Experiência Episódica: Registros de execuções passadas, falhas e reflexões.
  3. Conhecimento Semântico: Fatos, heurísticas e convenções de domínio.
  4. Memória Personalizada: Preferências e histórico específicos do usuário.
• Arquiteturas: Evolução de contextos monolíticos para sistemas hierárquicos, adaptativos e baseados em orquestração (ex: MemGPT, Mem0), onde o gerenciamento de recursos (quais dados reter, esquecer ou consolidar) é tratado como um sistema operacional.

B. Habilidades (Externalização da Expertise Procedural)

• Conceito: Transforma a "geração improvisada" de fluxos de trabalho em "composição guiada" de componentes pré-validados.
• Componentes: Uma habilidade não é apenas uma ferramenta, mas um pacote que inclui:
  1. Procedimento Operacional: O esqueleto da tarefa (passos, dependências).
  2. Heurísticas de Decisão: Regras para ramificações e tratamento de erros.
  3. Restrições Normativas: Limites de segurança e conformidade.
• Ciclo de Vida: As habilidades evoluem de primitivas atômicas para pacotes de capacidade descobertos, carregados progressivamente e compostos dinamicamente. O artigo destaca a transição de "chamada de função" para "orquestração de expertise".

C. Protocolos (Externalização da Interação)

• Conceito: Transforma a coordenação ad-hoc em trocas estruturadas e governadas por contratos.
• Funções: Externalizam a gramática de invocação, semântica de ciclo de vida, limites de permissão e metadados de descoberta.
• Tipos:
  • Agente-Ferramenta: (ex: MCP) para descoberta e invocação padronizada.
  • Agente-Agente: (ex: A2A) para delegação e coordenação de tarefas.
  • Agente-Usuário: (ex: A2UI, AG-UI) para streaming de estado e geração de interface.
• Impacto: Torna a interação auditável, segura e interoperável, removendo a necessidade de o modelo inferir sintaxe e semântica a cada passo.

D. Engenharia de Harness (O Caminho de Unificação)

• Definição: O Harness é o ambiente de execução que orquestra Memória, Habilidades e Protocolos. Não é apenas uma camada de software, mas um ambiente cognitivo projetado.
• Dimensões Analíticas do Harness:
  1. Loop e Controle de Fluxo: Limites de recursão, contagem de passos e gestão de recursos.
  2. Sandboxing: Isolamento de execução para segurança e reprodutibilidade.
  3. Supervisão Humana: Portas de aprovação (gates) para ações de alto risco.
  4. Observabilidade: Logs estruturados e feedback para correção e melhoria contínua.
  5. Configuração e Políticas: Codificação declarativa de permissões e regras de governança.
  6. Gestão de Orçamento de Contexto: Alocação dinâmica de tokens entre memória, habilidades e protocolos.

4. Resultados e Análise de Sistemas

O artigo não apresenta resultados empíricos de um único modelo, mas oferece uma análise sistêmica que revela:

• Interdependência: Memória, Habilidades e Protocolos não evoluem isoladamente. A memória alimenta a criação de novas habilidades; as habilidades geram traços que são armazenados na memória; os protocolos garantem que a execução seja segura e que os resultados sejam assimilados corretamente.
• Trade-off Paramétrico vs. Externalizado: Existe um espaço de compromisso ótimo. Conhecimento estável e de baixo custo (linguagem, raciocínio geral) deve permanecer nos pesos do modelo. Conhecimento volátil, procedural e governável deve ser externalizado.
• Mudança de Paradigma: O progresso em agentes não virá apenas de modelos maiores, mas de uma melhor infraestrutura cognitiva externa. A confiabilidade é alcançada ao transformar a natureza da tarefa que o modelo deve resolver (ex: de "lembrar tudo" para "recuperar o contexto correto").

5. Significado e Direções Futuras

O artigo redefine a engenharia de agentes, deslocando o foco da "otimização de prompts" para a "engenharia de infraestrutura".

• Implicações Práticas: Desenvolvedores devem tratar a arquitetura do agente como um sistema distribuído onde a inteligência é compartilhada entre o modelo e o harness.
• Desafios Futuros:
  • Harnes Auto-evolutivos: Sistemas que podem reescrever suas próprias políticas de memória e habilidades.
  • Externalização Corporificada (Embodied): A aplicação da mesma lógica a robôs físicos (divisão cérebro-cerebelo), onde o planejamento é externo e a execução motora é local.
  • Infraestrutura Compartilhada: A transição de scaffolding privado para infraestrutura compartilhada (memória e habilidades coletivas), levantando questões de governança, privacidade e segurança em escala de ecossistema.
  • Avaliação: A necessidade de novas métricas que avaliem a qualidade da externalização (transferibilidade, manutenibilidade, robustez de recuperação) em vez de apenas a taxa de sucesso da tarefa.

Conclusão: O artigo argumenta que a "agência confiável" é um fenômeno emergente da interação entre modelos e infraestrutura externa. O futuro dos agentes LLM reside na capacidade de externalizar cargas cognitivas de forma sistemática, transformando o harness em um artefato cognitivo que reorganiza o problema, permitindo que modelos com capacidades fixas realizem tarefas complexas e dinâmicas com alta confiabilidade.