Recurrent Reasoning with Vision-Language Models for Estimating Long-Horizon Embodied Task Progress

Título: Raciocínio Recorrente com Modelos Visão-Linguagem para Estimar o Progresso de Táticas Corporificadas de Longo Alcance

1. O Problema

A estimativa precisa do progresso de tarefas é fundamental para agentes corporificados (robôs ou assistentes virtuais) planejarem e executarem tarefas complexas e multi-etapa. No entanto, existem desafios significativos nas abordagens atuais baseadas em Modelos Visão-Linguagem (VLMs):

• Subutilização do Potencial de Raciocínio: Métodos existentes (como GVL e ROVER) focam principalmente na compreensão de vídeo e janelas de contexto grandes, negligenciando a capacidade de raciocínio complexo dos VLMs para lidar com dependências temporais entre subtarefas.
• Custo Computacional Proibitivo: Processar trajetórias de vídeo longas inteiras em VLMs é computacionalmente inviável para implantação em tempo real, gerando altos custos de inferência e latência.
• Falta de Rastreamento Global: Abordagens que processam apenas frames locais perdem o contexto global necessário para entender o estado geral da tarefa ao longo do tempo.

2. Metodologia: R2VLM

Os autores propõem o R2VLM (Recurrent Reasoning Vision-Language Model), um modelo que combina raciocínio iterativo com processamento eficiente de vídeo.

Arquitetura e Funcionamento

• Entrada Recorrente: Em vez de processar o vídeo inteiro, o modelo recebe snippets (trechos curtos) de vídeo localmente.
• Cadeia de Pensamento (CoT) Evolutiva: O núcleo da arquitetura é uma CoT que é atualizada iterativamente.
  • Na iteração $t$, o modelo recebe o snippet de vídeo atual ($v_t$) e a CoT histórica da iteração anterior ($c_{t-1}$).
  • O modelo atualiza a CoT para $c_t$, registrando a decomposição da tarefa, os passos chave observados, seu status de conclusão e o progresso estimado.
  • A CoT atua como uma "memória de curto prazo" que mantém o contexto global sem precisar reprocessar todo o histórico visual.
• Saída: O modelo gera uma estimativa de progresso ($p_t \in [0, 100]$) baseada na proporção de passos concluídos descritos na CoT atualizada.

Construção de Dados e Treinamento

• Datasets: Utilizaram dados de ALFRED (simulação) e Ego4D (mundo real). Criaram um pipeline automatizado para gerar pares de snippets de vídeo com CoTs correspondentes.
• Geração de CoT: Utilizaram LLMs grandes para gerar CoTs de alta qualidade que descrevem a decomposição da tarefa e o status dos passos, servindo como dados de treinamento supervisionado.
• Estratégia de Treinamento (Dois Estágios):
  1. Fine-tuning Supervisionado (SFT): Para ensinar o padrão de raciocínio e decomposição de tarefas.
  2. Aprendizado por Reforço (RL): Utilizando PPO (Proximal Policy Optimization) para refinar o modelo.
• Funções de Recompensa (RL): O treinamento por RL emprega recompensas específicas para garantir precisão e consistência:
  • Format Reward: Garante a estrutura correta da saída.
  • Bin Reward: Penaliza se o progresso não estiver no intervalo correto de passos concluídos.
  • MAE Reward: Penaliza o erro absoluto na estimativa numérica.
  • Improvement Reward: Recompensa a redução do erro em relação à iteração anterior (essencial para o raciocínio recorrente).
  • Finish Reward: Garante a detecção correta do término da tarefa.

3. Principais Contribuições

1. Novo Paradigma de Raciocínio Recorrente: Introduz um framework onde o contexto global é mantido via uma CoT evolutiva, permitindo que o modelo raciocine sobre dependências temporais complexas sem processar vídeos longos.
2. Eficiência Computacional: Ao processar apenas snippets locais e manter o contexto via texto (CoT), o modelo reduz drasticamente o tempo de inferência e o custo computacional, tornando-o viável para aplicações em tempo real.
3. Dataset e Benchmark Automatizados: Criaram um pipeline para gerar dados de treinamento em larga escala com CoTs e rótulos de progresso precisos, além de benchmarks rigorosos em ALFRED e Ego4D.
4. Aplicações em Cascata: Demonstraram que a estimativa de progresso pode ser usada como sinal de recompensa densa para aprendizado por reforço e para assistência proativa.

4. Resultados Experimentais

O R2VLM foi avaliado em métricas de erro médio absoluto (MAE), precisão de binários (estágio da tarefa) e acurácia de conclusão.

• Desempenho Superior: O R2VLM alcançou o estado da arte (SOTA) em ambos os datasets (ALFRED e Ego4D).
  • No ALFRED, reduziu o erro de progresso (pMAE) para 2.19, superando significativamente modelos pré-treinados massivos (como Qwen2.5-VL-72B com 24.88) e métodos anteriores.
  • No Ego4D (ambiente real e ruidoso), também obteve os melhores resultados, embora o desempenho seja naturalmente mais desafiador devido à complexidade do mundo real.
• Ablação: Estudos mostraram que a combinação de snippets de vídeo com CoT histórica é superior ao processamento de vídeo completo (que sofre de dispersão de atenção e alucinação em vídeos longos). A recompensa de "Melhoria" (Improvement Reward) foi crucial para o refinamento iterativo do raciocínio.
• Generalização: O modelo demonstrou forte capacidade de generalização entre domínios (treinar em um, testar no outro) e em cenários não vistos.

5. Significado e Aplicações

O trabalho oferece uma solução prática e eficiente para um dos gargalos da IA corporificada: a compreensão do progresso de tarefas de longo prazo. Suas implicações incluem:

• Aprendizado de Políticas Aprimorado: O progresso estimado pode ser usado como sinal de supervisão para treinar agentes robóticos, superando métodos baseados apenas em tempo.
• Modelagem de Recompensa para RL: Permite a criação de recompensas densas e precisas para aprendizado por reforço online, resolvendo o problema de recompensas esparsas em tarefas longas.
• Assistência Proativa: O sistema pode monitorar a execução de tarefas em tempo real (ex: em saúde, educação ou fitness) e fornecer feedback estruturado sobre o que foi concluído e o que falta, auxiliando tanto humanos quanto agentes autônomos.

Em resumo, o R2VLM demonstra que a combinação de raciocínio iterativo baseado em texto com observações visuais locais é uma abordagem superior para a estimativa de progresso em tarefas corporificadas complexas, equilibrando precisão, interpretabilidade e eficiência computacional.