Beyond Needle(s) in the Embodied Haystack: Environment, Architecture, and Training Considerations for Long Context Reasoning

Título: Além das Agulhas no Palheiro Embodido: Ambiente, Arquitetura e Considerações de Treinamento para Raciocínio de Longo Contexto

1. Problema e Motivação

O raciocínio corporificado (embodied reasoning) no mundo real é um problema de tomada de decisão sequencial que exige planejamento de longo horizonte. O sucesso da tarefa depende não apenas da execução de ações imediatas, mas da capacidade de memorizar e raciocinar sobre eventos que ocorreram muito tempo atrás (centenas de passos).

Os desafios principais identificados pelos autores são:

• Limitação de Contexto: Os Modelos de Linguagem e Visão (VLMs) atuais possuem janelas de contexto fixas e não conseguem nativamente processar sequências que excedem 1 milhão de tokens, comuns em trajetórias corporificadas longas.
• Dependência Temporal Longa: Tarefas exigem que o agente lembre de objetos ou locais observados no início da trajetória (ex: $t=16$) para executar uma ação no final (ex: $t=670$).
• Falta de Benchmarks Padronizados: Plataformas existentes (como AI2-THOR, ProcTHOR, Habitat) fornecem ambientes, mas carecem de conjuntos de dados escaláveis e benchmarks específicos para avaliar o raciocínio de longo prazo e a recuperação de informações esparsas em trajetórias multimodais.

2. Metodologia: O Framework $\infty$-THOR

Os autores introduzem o $\infty$-THOR, um novo framework completo para geração, treinamento e avaliação de tarefas corporificadas de longo horizonte.

A. Geração de Trajetórias e Ambiente

• Baseado no simulador AI2-THOR, o framework gera trajetórias ilimitadas e reprodutíveis.
• Estratégia de Geração: Concatena múltiplas demonstrações de tarefas únicas (usando planejadores baseados em PDDL) para criar sequências contínuas.
• Dependência Temporal Forçada: Para o objetivo final de uma trajetória, os objetos envolvidos são amostrados exclusivamente do início (topo 20%) e do final (últimos 20%) da trajetória, forçando o agente a integrar evidências temporais distantes.
• Escala: As trajetórias no conjunto de teste possuem, em média, 627 passos e até 1,3 milhão de tokens de contexto.

B. Nova Tarefa de Avaliação: Needle(s) in the Embodied Haystack (NiEH)

Diferente do clássico "Needle in a Haystack" (focado em texto), o NiEH é uma tarefa de Pergunta e Resposta (QA) Corporificada:

• Desafio: O agente deve recuperar e raciocinar sobre "agulhas" (informações cruciais) espalhadas em um "palheiro" de trajetória multimodal (imagens + linguagem + ações).
• Tipos de Questões:
  • Single-evidence: Baseada em um único passo de observação.
  • Multi-evidence: Requer a agregação de múltiplos passos temporais distantes (ex: "Quantas vezes você moveu o objeto X?" ou "Onde estava o objeto Y antes de ir para Z?").
• Validação: As perguntas são geradas via regras e validadas por um ensemble de quatro VLMs (LLaVA, Qwen2.5-VL, Deepseek-VL, Pixtral) para garantir que sejam respondíveis.

C. Arquiteturas de Política Investigadas

Para lidar com sequências extremas, dois modelos de política foram explorados:

1. Modelo Interleaved Goal-State-Action: Codifica todo o histórico de percepção-ação como uma única sequência multimodal intercalada ($g_0, s_0, a_0, \dots, s_t, a_t$). O VLM raciocina sobre o histórico completo.
2. Modelo Goal-State com Memória Aumentada: Substitui o histórico completo por resumos textuais ou imagens recuperadas (via similaridade de embedding) para reduzir o tamanho do contexto, mantendo apenas informações relevantes.

D. Estratégias de Treinamento e Extensão de Contexto

• Técnicas de Extensão: Avaliação de métodos como Interpolação Linear, Escalonamento Dinâmico, YaRN e LongRoPE para permitir que modelos pré-treinados generalizem para sequências mais longas sem retreinamento do zero.
• Context Parallelism (Ring Attention): Implementação de paralelismo de contexto para permitir o fine-tuning e inferência eficiente em sequências ultra-longas (>1M tokens), trocando shards de chave-valor entre dispositivos.

3. Resultados Principais

A. Avaliação Estática (NiEH)

• Desempenho dos Modelos: Modelos de ponta (Gemini 2.0 Flash, Qwen2.5-VL) mostram degradação significativa em contextos longos (>32K-256K tokens), especialmente em tarefas de múltiplas evidências.
• Arquitetura: O modelo Interleaved Goal-State-Action superou consistentemente as abordagens baseadas em memória recuperada (Memory-Augmented), sugerindo que processar o histórico contínuo é superior para raciocínio fundamentado do que tentar recuperar apenas partes do passado.
• Limitação: O LLaVA-OV falhou completamente ao tentar processar trajetórias completas (>1M tokens), enquanto o Gemini 2.0 Flash manteve desempenho razoável até certo ponto, mas ainda falhou em contextos extremos.

B. Avaliação Online (Tarefas de Longo Horizonte)

• Treinamento com Contexto Longo: O uso de fine-tuning com contextos estendidos (128K tokens) resultou em ganhos significativos de sucesso (9,2% vs 6,4% em 32K).
• Técnicas de Escalonamento: A aplicação de YaRN (x4) durante a inferência aumentou a taxa de sucesso total para 11,5%.
• Desafio Persistente: A tarefa de "Colocar" (Put) permaneceu sem solução (0% de sucesso) na maioria dos casos, pois os agentes falhavam nas etapas anteriores ("Ir para" e "Pegar"), impedindo o alcance do estágio final.

C. Transferência Sim2Real e Controle de Baixo Nível

• Sim2Real: O treinamento no dataset sintético NiEH melhorou o desempenho do modelo Qwen2.5-VL em 11,2% no benchmark fotorealista VSI-Bench (tarefa de ordem de aparecimento de objetos), demonstrando que o raciocínio temporal aprendido na simulação transfere-se para imagens do mundo real.
• Manipulação Robótica: A integração com o ManipulaTHOR para controle de braços robóticos (OpenVLA, SpatialVLA) mostrou desempenho baixo, devido a discrepâncias na configuração do braço robótico e na dificuldade de perceber ajustes finos em vistas egocêntricas.

4. Contribuições Chave

1. Framework $\infty$-THOR: Uma infraestrutura escalável para gerar, treinar e avaliar tarefas corporificadas de longo horizonte com objetivos sintéticos complexos.
2. Benchmark NiEH: Uma nova tarefa de QA que testa a capacidade de raciocínio sobre evidências esparsas e temporais em trajetórias multimodais.
3. Dataset e Ambiente: Liberação de um dataset de trajetórias com milhares de episódios (até 1,3M de tokens) e um ambiente de avaliação interativa.
4. Análise Arquitetural e de Treinamento: Evidências empíricas de que o fine-tuning com contextos longos é mais crítico do que apenas técnicas de extensão de contexto na inferência, e que a arquitetura Interleaved é superior para este domínio.
5. Validação Prática: Demonstração de transferência bem-sucedida para benchmarks fotorealistas e integração com controle robótico de baixo nível.

5. Significado e Impacto

Este trabalho estabelece as bases para a próxima geração de agentes corporificados capazes de raciocínio robusto e de longo prazo. Ele destaca que, embora os VLMs atuais tenham avançado, eles ainda lutam com dependências temporais extremas e contextos multimodais massivos.

O $\infty$-THOR fornece as ferramentas necessárias (dados, benchmarks e estratégias de treinamento) para superar essas limitações, apontando que o futuro do raciocínio corporificado depende não apenas de modelos maiores, mas de arquiteturas adaptadas e estratégias de treinamento que expõem os modelos a contextos longos desde o início. A capacidade de transferir habilidades de raciocínio temporal de simulação para o mundo real (Sim2Real) é um passo crucial para a aplicação prática em robótica e assistentes pessoais autônomos.