Resumo Técnico: Quando Re-Comprometer: Descoberta de Abstração Temporal para Raciocínio Visão-Linguagem de Longo Horizonte

Definição do Problema

Tarefas de raciocínio de longo horizonte (por exemplo, resolver quebra-cabeças complexos, navegar em ambientes desordenados) exigem que agentes decidam repetidamente sobre ações, as executem, observem os resultados e replanejem. Uma escolha de design crítica nesses sistemas é a profundidade de compromisso ($h$): o número de ações primitivas que um agente executa em malha aberta (sem reobservar o ambiente) entre etapas de replanejamento.

Os sistemas atuais tipicamente fixam $h$ como um hiperparâmetro escalar ajustado manualmente. Isso cria um trade-off fundamental:

• $h$ pequeno: O replanejamento frequente reduz erros de execução cumulativos, mas incorre em altos custos computacionais (mais passagens para frente) e latência de decisão.
• $h$ grande: Reduz a sobrecarga de replanejamento, mas aumenta o risco de erros cumulativos à medida que o estado imaginado diverge do estado realizado.

O artigo argumenta que um $h$ fixo é subótimo porque a profundidade de compromisso localmente ótima varia dependendo do estado atual, das dinâmicas da tarefa e do orçamento de decisão disponível. O problema central é formulado como uma otimização com restrição de orçamento: maximizar o sucesso da tarefa (resolver o quebra-cabeça) sujeito a um limite ($K$) no número de pontos de decisão (replanejamentos) por episódio, onde a política deve selecionar conjuntamente a profundidade de compromisso $h_k$ e a sequência de ações $a_k$ em cada etapa de decisão $k$.

Metodologia

Os autores propõem uma política unificada e nativa do modelo, baseada em um Modelo Visão-Linguagem (VLM), que aprende a determinar adaptativamente a profundidade de compromisso.

1. Arquitetura

A política é construída sobre uma espinha dorsal compartilhada (Qwen2.5-VL-7B) com duas cabeças distintas:

• Cabeça de Profundidade ($\pi_h$): Uma cabeça categórica que prevê a profundidade de compromisso $h_k \in \{1, 2, 4, 8\}$ com base na representação do estado atual.
• Cabeça de Ação ($\pi_a$): Um decodificador autoregressivo que gera uma sequência de ações primitivas de comprimento $h_k$, condicionada ao estado e à profundidade prevista.
• Execução em Malha Aberta: Uma vez que $h_k$ e $a_k$ são previstos, o agente executa a sequência sem reconsultar o VLM ou recodificar estados intermediários.

2. Pipeline de Treinamento

O modelo é treinado por meio de um processo de duas etapas:

• Etapa 1: Ajuste Fino Supervisionado (SFT): A cabeça de ação é treinada em dados de "macro-ação contrafactual". Para cada estado em uma trajetória de especialista, o modelo é treinado para prever prefixos de ação de todos os comprimentos admissíveis ($h \in \{1, 2, 4, 8\}$). Crucialmente, a cabeça de profundidade não é treinada durante esta etapa; ela permanece não treinada (prior plana) para evitar enviesar a política em direção a qualquer profundidade específica antes do aprendizado por reforço.
• Etapa 2: Aprendizado por Reforço (RL): Ambas as cabeças são ajustadas finamente conjuntamente usando GRPO (Otimização de Política Relativa de Grupo). A função de recompensa combina um sinal binário de sucesso (resolvido/não resolvido) com uma recompensa densa baseada na redução da distância da solução ótima (derivada de um solucionador exato, usado apenas para treinamento). O objetivo incentiva a política a selecionar a profundidade que maximiza o sucesso enquanto minimiza ações desperdiçadas.

3. Fundamentação Teórica

O artigo fornece um modelo teórico mostrando que, se a profundidade de compromisso localmente ótima $h^*(s)$ variar entre estados (o que é verificado empiricamente via uma distribuição oráculo), uma política adaptativa condicionada ao estado domina estritamente qualquer política de profundidade fixa em termos de log-sucesso esperado. Isso vale desde que o erro no nível de compromisso cresça sublinearmente com a profundidade.

Contribuições Principais

1. Formulação do Problema: Os autores formalizam "quando re-comprometer" como um problema de otimização com restrição de orçamento e provam teoricamente que estratégias de profundidade fixa são subótimas sempre que a profundidade ótima varia entre estados.
2. Política Adaptativa Unificada: Eles introduzem uma única arquitetura VLM com uma cabeça de profundidade e uma cabeça de ação aprendíveis, treinadas de ponta a ponta sem planejadores auxiliares ou preditores de profundidade separados.
3. Infraestrutura: Eles lançam um ambiente de quebra-cabeça visão-linguagem com um pipeline de geração de dados fundamentado em solucionador para Sliding Puzzle e Sokoban, permitindo medição controlada de raciocínio de longo horizonte.

Resultados Experimentais

O método foi avaliado em Sliding Puzzle e Sokoban, duas tarefas com dinâmicas conhecidas, mas características de erro variáveis (reversíveis vs. irreversíveis).

• Domínio de Pareto: A política adaptativa domina estritamente em Pareto toda base de profundidade fixa não degenerada ($h \in \{1, 2, 4, 8\}$). Ela alcança taxas de resolução mais altas com menos ações primitivas por episódio.
  • Sliding Puzzle: 56,3% de taxa de resolução (vs. 43,8% melhor fixo) com ~25% menos ações.
  • Sokoban: 35,9% de taxa de resolução (vs. 32,8% melhor fixo) com ~25% menos ações.
• Comparação com Modelos de Vanguarda: Apesar de usar uma espinha dorsal de 7B parâmetros, a política adaptativa ajustada supera modelos fechados de vanguarda (GPT-5.5, Claude Sonnet, Gemini 3.1 Pro) e supera significativamente todos os VLMs de pesos abertos testados (8B–78B), que obtiveram 0% em configurações zero-shot.
• Análise de Mecanismos:
  • Condicionamento por Estado: A política aprende a usar compromissos mais curtos ($h \approx 1-4$) em estados "ruidosos" ou longe do objetivo, onde o progresso é incerto, e compromissos mais longos ($h \approx 6-8$) em estados "limpos" próximos ao objetivo.
  • Eficiência: A melhoria vem de resolver as mesmas instâncias por trajetórias mais diretas (menos ações desperdiçadas ou para trás), e não de resolver instâncias mais fáceis.
  • Robustez: Os ganhos de desempenho persistem entre diferentes sementes aleatórias e orçamentos de treinamento, e a distribuição de profundidade não colapsa para um único valor fixo.

Significado e Alegações

O artigo alega que a abstração temporal deve ser tratada como uma variável de controle dinâmica e condicionada ao estado, em vez de um hiperparâmetro arquitetônico fixo.

• Subotimalidade da Profundidade Fixa: O trabalho demonstra que o ajuste manual de uma única profundidade de compromisso é insuficiente para tarefas de longo horizonte onde a incerteza do estado e a propagação de erro variam significativamente.
• Abstração Aprendível: Ao tratar a decisão de "quando replanejar" como parte da própria política, o modelo aprende a equilibrar o custo do replanejamento contra o risco de erros cumulativos, alcançando eficiência e taxas de sucesso superiores.
• Generalização: Os autores sugerem que essa abordagem é aplicável a domínios mais amplos de raciocínio de longo horizonte, como agentes web (decidindo quantos passos dar antes de reler uma página) ou agentes de código (decidindo quantas edições fazer antes de reavaliar o buffer), embora sua validação empírica esteja atualmente limitada a domínios de quebra-cabeças.

O artigo conclui que a capacidade de aprender por quanto tempo comprometer-se é tão crítica quanto aprender com o que comprometer-se, oferecendo um caminho para agentes autônomos mais eficientes e robustos em ambientes complexos.