Resumo Técnico: Seeing-to-Experiencing (S2E)

Definição do Problema

Modelos de fundação para navegação treinados em dados massivos de escala web offline demonstraram uma forte generalização em diversos ambientes. No entanto, esses modelos dependem primariamente de imitação visual passiva, capturando correlações estatísticas em vez de causalidade fundamentada. Consequentemente, eles carecem da capacidade de raciocinar sobre as consequências das ações, adaptar-se a cenários contrafatuais ou exibir comportamentos reativos necessários para uma navegação urbana segura (por exemplo, evitar obstáculos dinâmicos ou pedestres). Embora o Aprendizado por Reforço (RL) ofereça um paradigma para o aprendizado interativo, tentativas anteriores de escalar o RL para navegação enfrentaram dificuldades devido à baixa eficiência de amostragem, falta de vieses indutivos e a dificuldade de treinar agentes do zero em ambientes sintéticos estreitos. Além disso, simplesmente escalar dados supervisionados offline frequentemente leva a retornos decrescentes de desempenho.

Metodologia: O Framework S2E

Os autores propõem o Seeing-to-Experiencing (S2E), um framework de aprendizado híbrido que combina pré-treinamento offline de larga escala com aprendizado por reforço online em simulação. O framework visa reter as representações visuais generalizáveis aprendidas de vídeos do mundo real, enquanto adquire capacidades interativas através de RL.

1. Pré-treinamento: Anchor-Guided Distribution Matching (AGDM)

Para abordar a natureza multimodal da navegação (onde múltiplas ações válidas existem para uma única observação), os autores introduzem uma estratégia de Anchor-Guided Distribution Matching (Correspondência de Distribuição Guiada por Âncoras).

• Arquitetura: Em vez de usar bins discretos ou Gaussianas unimodais, o modelo prevê um Modelo de Mistura Gaussiana (GMM) onde os componentes da mistura são guiados por "âncoras".
• Mecanismo: $M$ pontos de intenção representativos (âncoras) são amostrados via K-Means no conjunto de dados unificado. Essas âncoras servem como consultas em um mecanismo de atenção cruzada (cross-attention). Cada âncora corresponde a um modo Gaussiano com scores, médias, desvios padrão e correlações aprendidos.
• Benefício: Esta abordagem fornece uma distribuição multimodal estruturada que equilibra expressividade com estabilidade de treinamento. Ela permite que o modelo capture comportamentos diversos (ex: seguir em frente, virar, ceder a passagem) enquanto mantém uma base confiável para adaptação subsequente.

2. Pós-treinamento: Residual-Attention Module (RAM)

Para injetar capacidades interativas sem apagar o conhecimento pré-treinado ou sofrer de mudança de domínio (sim-to-real), os autores propõem um Módulo de Atenção Residual para o ajuste fino (fine-tuning) via RL.

• Motivação: O ajuste fino de todos os parâmetros com RL corre o risco de "Esquecimento de Capacidades Pré-treinadas" (FPC) e faz com que o codificador visual sofra overfitting às texturas do simulador, degradando o desempenho no mundo real.
• Mecanismo: Os parâmetros originais de atenção cruzada pré-treinados são congelados. Uma cópia paralela e treinável do bloco de atenção é introduzida, controlada por camadas lineares inicializadas com zero.
• Dinâmica de Treinamento: A inicialização com zero garante que, no início do ajuste fino, o ramo residual não contribua com nada ($Q' = \psi_{pre}(Q)$). À medida que o treinamento progride, os pesos do portão (gate) ativam gradualmente, permitindo que o modelo aprenda seletivamente comportamentos reativos (ex: desvio de obstáculos) a partir do sinal de RL, preservando as representações visuomotoras generalizáveis do pré-treinamento offline.
• Eficiência: Esta abordagem é eficiente em termos de parâmetros, atualizando apenas um plugin leve em vez de todo o modelo, e evita a atualização do codificador visual para prevenir a mudança de domínio.

3. Benchmark de Avaliação: NavBench-GS

Os autores estabelecem o NavBench-GS, um benchmark abrangente de ponta a ponta.

• Características: Construído sobre reconstruções de Gaussian Splatting 3D fotorrealistas de cenas do mundo real, incorpora interações físicas e dinâmicas precisas.
• Escopo: Inclui 26 cenários com quatro variações de tarefas: ambientes vazios, obstáculos estáticos, pedestres em movimento e combinação de obstáculos/pedestres.
• Métricas: Taxa de Sucesso (SR), Conclusão de Rota (RC) e Tempos de Colisão (CT).

Resultados Principais

Desempenho de Escala

Experimentos demonstram que o S2E mitiga os retornos decrescentes associados ao escalonamento de dados offline isoladamente.

• RL vs. Escalonamento de Dados: Aumentar os dados offline de 250k para 750k amostras resultou em apenas 2% de melhoria na taxa de sucesso. Em contraste, aplicar o ajuste fino de RL a um modelo treinado em 100 horas de dados resultou em uma melhoria de 15% na taxa de sucesso sem a necessidade de dados offline adicionais.
• RL vs. SFT: Comparado ao Ajuste Fino Supervisionado (SFT), que sofre de overfitting severo conforme os custos de treinamento aumentam, o RL mantém ou melhora as taxas de sucesso e demonstra maior eficiência de amostragem.

Desempenho no Benchmark (NavBench-GS)

O S2E superou modelos de fundação de navegação de última geração (incluindo GNM, ViNT, NoMaD, MBRA e CityWalker) em todos os cenários de teste.

• Eficiência: O S2E, treinado em apenas 100 horas de dados, superou o CityWalker, que foi treinado em mais de 2000 horas de dados.
• Segurança: O S2E alcançou as maiores Taxas de Sucesso e os menores Tempos de Colisão, particularmente em cenários complexos envolvendo tanto obstáculos estáticos quanto pedestres em movimento.

Implantação no Mundo Real

O framework foi implantado em duas plataformas robóticas distintas: um robô com rodas e um robô quadrúpede Unitree GO2.

• Generalização Zero-Shot: O S2E alcançou transferência zero-shot para cenários urbanos inéditos no mundo real.
• Desempenho: Em testes no mundo real, o S2E-Full alcançou uma taxa de sucesso de 0,51 (rodas) e 0,55 (quadrúpede), superando significativamente baselines como NoMaD e CityWalker, que tiveram dificuldades com desvio de obstáculos.

Significância e Alegações

O artigo afirma que a integração de experiências online interativas via Aprendizado por Reforço é crucial para escalar modelos de fundação em robótica. As principais contribuições são:

1. Preenchendo a Lacuna: O S2E consegue unir com sucesso a ampla generalização do pré-treinamento offline com a segurança reativa da interação online.
2. Inovação Técnica: O Anchor-Guided Distribution Matching estabiliza o aprendizado de distribuições multimodais complexas, enquanto o Residual-Attention Module permite o aprendizado incremental e seguro de comportamentos interativos sem esquecimento catastrófico ou mudança de domínio.
3. Novo Paradigma: O trabalho desafia a noção de que o escalonamento de dados offline é o principal motor de desempenho, mostrando que o pós-treinamento via RL oferece um caminho mais eficiente para políticas de navegação robustas e seguras.
4. Reprodutibilidade: Os autores estabelecem um novo benchmark (NavBench-GS) e se comprometem a liberar o código e os modelos para facilitar a verificação pela comunidade.

Os autores reconhecem limitações, observando que os sistemas atuais dependem de entradas visuais 2D e carecem de percepção 3D explícita, o que ainda pode levar a colisões em estruturas 3D complexas. Eles sugerem que trabalhos futuros poderiam integrar predição de profundidade ou ocupação.