Resumo Técnico: Otimização do Espaço de Trabalho

Declaração do Problema

Agentes modernos construídos sobre modelos de linguagem de fronteira (LLMs) frequentemente enfrentam uma limitação crítica: eles não podem adaptar seus pesos internos durante um episódio. O ajuste fino (fine-tuning) é muito lento para adaptação online de episódio único, e em muitos cenários de implantação (por exemplo, modelos baseados em API ou rastros sensíveis à privacidade), o acesso aos pesos não está disponível. Consequentemente, o modelo permanece fixo, mas o agente ainda deve aprender a resolver tarefas complexas de múltiplas interações, onde o objetivo e as regras estão ocultos dentro do ambiente.

O artigo identifica uma lacuna nos paradigmas padrão de aprendizado agêntico. O aprendizado por reforço (RL) tradicional depende da atualização de uma política ou função de valor (espaço de pesos) com base em sinais de perda. No entanto, quando os pesos estão congelados, o "estado treinável" é indefinido. Os autores argumentam que o espaço de trabalho do agente — o substrato externo estruturado que ele lê, escreve e testa — deve ser o objeto de adaptação. Isso é particularmente relevante para benchmarks como ARC-AGI-3, onde os agentes devem descobrir mecânicas de jogo, objetivos e dinâmicas através da interação dentro de um orçamento de ação estrito, sem dados offline ou a capacidade de reverter etapas.

Metodologia: Otimização do Espaço de Trabalho

O artigo propõe a Otimização do Espaço de Trabalho, um framework onde um agente com modelo congelado se adapta editando um espaço de trabalho mutável e estruturado, em vez de seus parâmetros. Esta abordagem espelha a estrutura computacional do treinamento no espaço de pesos, mas substitui componentes-chave:

• Artefatos substituem parâmetros.
• Evidências substituem dados de treinamento.
• Contraexemplos substituem funções de perda.
• Feedback textual substitui gradientes.

O Estado Treinável

O agente é modelado como uma tupla $(M, H)$, onde $M$ é um modelo de linguagem congelado e $H$ é um harness (conjunto de ferramentas) que fornece ferramentas e um sandbox. O espaço de trabalho $W_t$ no passo $t$ consiste em:

1. Programas ($P_t$): Artefatos reutilizáveis e executáveis (por exemplo, analisadores de observação, simuladores de dinâmica, estratégias).
2. Logs ($L_t$): Resumos, hipóteses, candidatos abandonados e questões não resolvidas.
3. Dados de Rastreamento ($D_t$): Um conjunto de dados de apenas adição (append-only) de observações, ações, recompensas e contraexemplos.

O loop de aprendizado opera da seguinte forma:

1. Ação e Previsão: O agente lê $W_t$ e $D_t$ para selecionar uma ação $a_t$. Ele compromete-se com uma previsão (por exemplo, "mover para a esquerda resultará no estado $z_{t+1}$").
2. Avaliação: Ao receber a próxima observação $o_{t+1}$, o harness compara a previsão contra a realidade.
3. Feedback e Roteamento: Se uma previsão falhar, o erro não é uma perda escalar, mas um contraexemplo roteado para o artefato específico (interface) responsável pela falha. Isso resolve o problema de atribuição de crédito ao abordar qual artefato editar, em vez de quanto atualizar um peso.
4. Reparo e Regressão: O papel responsável edita seu artefato (por exemplo, corrigindo uma função Python). Crucialmente, o harness mantém um conjunto de regressão ($R_t$) de transições passadas. O novo patch é reproduzido contra este conjunto para garantir que não quebre casos previamente resolvidos antes de ser aceito.

Arquitetura DREAMTEAM

Os autores instanciam este framework no DREAMTEAM, um harness multiagente para ARC-AGI-3. O sistema decompõe o agente em seis papéis, cada um possuindo uma "superfície" específica (slot tipado) no espaço de trabalho:

• Observador: Analisa observações brutas em estado estruturado ($z_t$) e possui a lógica de renderização.
• Simulador: Rastreia o estado oculto ($h_t$) e possui o modelo de dinâmica (prevendo estados futuros).
• Explorador Indutivo (IE): Mantém uma biblioteca de estratégias e sub-objetivos reutilizáveis.
• Explorador Transdutivo (TE): Propõe sondas de busca de informação quando o modelo do mundo é imaturo.
• Crítico: Audita artefatos, roteia falhas para seus proprietários e sinaliza regressões.
• Líder da Equipe (TL): Arbitra propostas e compromete a ação final.

O sistema emprega um loop de compromisso seguido de retrodizção. O Simulador compromete-se com um programa de dinâmica; se a próxima observação contradizer a previsão, o Simulador corrige o código. O Crítico garante que os patches sejam consistentes com evidências anteriores através do conjunto de regressão. No início de um jogo, o sistema favorece a sondagem (TE) para reduzir a incerteza; à medida que o modelo do mundo se estabiliza, o controle muda para o planejamento baseado em modelo (IE/TL).

Contribuições Principais

1. Framework de Otimização do Espaço de Trabalho: Uma formalização da adaptação de agentes com modelos congelados através da edição de um espaço de trabalho estruturado de artefatos tipados. Isso reinterpreta a atribuição de crédito como uma decisão de endereçamento (qual artefato editar) em vez de uma atualização de gradiente.
2. DREAMTEAM: Uma implementação multiagente deste framework, apresentando uma arquitetura inspirada no DreamerV3, onde papéis possuem observação, dinâmica, estratégia, sondagem, crítica e arbitragem.
3. Desempenho de Estado da Arte Eficiente: No conjunto público de 25 jogos do ARC-AGI-3, o DREAMTEAM alcança 38,4% de RHAE (Eficiência Relativa de Ação Humana), superando a linha de base anterior correspondente ao protocolo de 36%. Notavelmente, isso é alcançado enquanto usa 31% menos ações de ambiente por jogo (444 vs. 643), demonstrando eficiência superior de planejamento.

Resultados

• Desempenho: Média sobre duas execuções independentes, o DREAMTEAM alcançou 38,4% de RHAE no conjunto público do ARC-AGI-3, comparado à linha de base do Agentica SDK da Symbolica de 36,08%.
• Eficiência: O sistema exigiu significativamente menos ações para resolver níveis. Em níveis resolvidos com sucesso, o DREAMTEAM teve uma média de 54,1 ações por nível versus 100,1 para a linha de base.
• Orçamento de Ação: O sistema mantém-se à frente de uma referência humana com orçamento correspondido nas primeiras ~5 horas de uma execução de 24 horas, embora o humano eventualmente supere devido a capacidades mais fortes de transferência entre níveis que o sistema atual reconstrói em cada transição.

Significado e Alegações

O artigo alega que a Otimização do Espaço de Trabalho abre uma agenda de pesquisa paralela a décadas de aprendizado no espaço de pesos, especificamente para configurações onde os modelos são fixos. Ao tratar o espaço de trabalho como o objeto treinável, o sistema torna a adaptação explícita e executável: cada previsão é um compromisso escrito, cada contradição torna-se um reparo tipado e cada reparo é validado contra evidências anteriores.

Os autores enfatizam que seus resultados são limitados por orçamentos de tempo e custo, e não por limites de inteligência do sistema. Eles notam que a metodologia é projetada para configurações interativas onde o modelo é fixo e o aprendizado deve ocorrer através do espaço de trabalho. O artigo não alega resolver todos os desafios do ARC-AGI-3 ou generalizar para todos os domínios interativos sem pesquisa adicional, mas estabelece um caminho viável para "adaptação no momento do teste" que evita a necessidade de atualizações de pesos ou dados de treinamento offline.

O trabalho distingue-se de métodos anteriores de adaptação no momento do teste (como bancos de casos ou código de auto-reescrita) ao usar artefatos tipados e nomeados para roteamento de falhas, o que contorna o problema aberto de atribuição de falhas, e ao impor verificações de regressão para garantir consistência com evidências históricas.