Resumo Técnico: CoFL-S

Declaração do Problema

A Navegação Visão-Linguagem (VLN) tem apresentado um progresso significativo no raciocínio semântico de alto nível, construção de memória e decomposição de instruções. No entanto, a representação de ação de baixo nível — o mecanismo que traduz a intenção semântica local em movimento robótico executável — permanece subexplorada. As avaliações padrão de VLN frequentemente misturam o raciocínio de alto nível com a execução de baixo nível, tornando difícil isolar a eficácia de diferentes interfaces de ação. As interfaces existentes, como tokens de ação discretos (ex: "virar à esquerda") ou blocos de ação de horizonte finito, especificam ações para o estado atual ou para uma sequência futura curta, mas falham em modelar explicitamente como o movimento desejado deve variar através de localizações próximas no espaço de trabalho, configurações de obstáculos ou frequências de replanejamento. O artigo postula que uma interface de baixo nível capaz de representar orientação indexada espacialmente, semelhante aos campos de potencial clássicos, é necessária para um controle contínuo robusto em ambientes parcialmente observáveis.

Metodologia: Estrutura CoFL-S

Os autores propõem o CoFL-S (CoFL-Spatially Queryable Sector Flow Fields), uma estrutura que prevê um campo de fluxo condicionado por linguagem sobre o setor local visível do robô para gerar trajetórias contínuas.

1. Representação de Campo de Fluxo de Setor

Em vez de regredir uma única trajetória ou uma ação discreta, o CoFL-S prevê um campo de fluxo 2D sobre o plano de solo local do robô.

• Entrada: Uma observação RGB-D egocêntrica $(I, D)$ e uma subinstrução local de baixo nível $\ell$.
• Saída: Um campo de velocidade espacialmente consultável. O campo é consultado em coordenadas polares de setor normalizadas $q = (\tilde{\theta}, \tilde{r})$ alinhadas com o campo de visão da câmera, mas produz velocidades cartesianas $(v_{fwd}, v_{lft})$ no frame do plano de solo centrado no robô.
• Geração: A trajetória $\tau(t)$ é gerada através do rollout do campo previsto usando um modelo de movimento de primeira ordem: $\dot{\tau}(t) = v_\phi(\Pi_{polar}(\tau(t)) | I, D, \ell)$.

2. Arquitetura

O modelo consiste em três componentes principais (Fig. 2):

• Codificador Visão-Linguagem: Utiliza um codificador SigLIP2 congelado para mapear RGB e texto para embeddings compartilhados. A informação de profundidade é injetada nos tokens visuais via um pacotificador convolucional e uma via FiLM (Feature-wise Linear Modulation) para fornecer consciência geométrica.
• Decodificador de Setor: Um decodificador Transformer baseado em consultas que recebe consultas de coordenadas (incorporadas via características de Fourier Gaussianas) e o contexto fundido para prever vetores de velocidade para cada localização de setor.
• Módulo de Ação: Um ramo auxiliar leve usando consultas de ação aprendíveis para prever uma probabilidade de terminação discreta (STOP), complementando o rollout do campo contínuo.

3. Supervisão de Controle Contínuo

Para treinar esta representação, os autores convertem episódios padrão de VLN-CE (R2R e RxR) em supervisão de nível de frame:

• Alinhamento de Grão Fino: Cada frame RGB-D é emparelhado com uma subinstrução local derivada de anotações de grão fino (Fine-Grained R2R, Landmark RxR).
• Expansão de Instrução: Para aumentar a diversidade, cada frame é expandido em $K$ slots de instrução, incluindo o âncor humano, comandos baseados em objetos, comandos baseados em regiões e comandos terminais.
• Geração de Alvo: Para cada slot de instrução, um campo de fluxo de setor denso é gerado combinando a atração geodésica em direção a um objetivo ancorado com a repulsão de obstáculos/regiões invisíveis. Isso cria um campo de potencial cujo gradiente negativo serve como o alvo do campo de velocidade.
• Função de Perda: O modelo é treinado com uma combinação de perda de direção (similaridade de cosseno), perda de magnitude (escalonamento de distância-até-o-alvo) e perda de terminação de ação.

4. Benchmark de Avaliação

Os autores introduzem um benchmark de tempo contínuo Habitat para isolar interfaces de ação de baixo nível:

• Protocolo: Todos os métodos (CoFL-S, Action Token, Action Chunk) são avaliados sob a mesma simulação de tempo contínuo onde o estado do agente é atualizado a 60 Hz e as observações a 30 Hz.
• Controlador: Um controlador de velocidade de baixo nível compartilhado executa as saídas de todos os métodos, garantindo que as diferenças de desempenho surjam da representação de ação, e não do controlador.
• Independência de Decomposição: Em cada passo, a posição do agente é projetada no caminho de referência para recuperar a subinstrução local correspondente, removendo a variável de decomposição de instrução de alto nível.

Principais Contribuições

1. Estrutura CoFL-S: Uma nova representação de campo de fluxo de setor para navegação local de primeira pessoa condicionada por linguagem, que mapeia observações e instruções para um campo de controle espacialmente consultável.
2. Conversão de Supervisão: Um método para converter traços de VLN-CE de episódios inteiros em supervisão local de nível de frame, emparelhando observações com subinstruções alinhadas e alvos de campo de fluxo densos.
3. Benchmark de Tempo Contínuo: Um novo protocolo de avaliação que compara interfaces de token de ação, bloco de ação e campo de fluxo com encoders, instruções e controladores compatíveis, permitindo a comparação independente de decomposição entre frequências de planejador.

Resultados Experimentais

O artigo avalia o CoFL-S contra baselines de Action Token e Action Chunk tanto em simulação quanto em configurações zero-shot no mundo real.

• Simulação (R2R-CE e RxR-CE): O CoFL-S supera consistentemente ambos os baselines em todas as frequências de planejador testadas (2 Hz, 5 Hz, 10 Hz) em termos de Erro de Navegação (NE), Sucesso Oracle (OS), Taxa de Sucesso (SR) e Sucesso ponderado pelo Comprimento do Caminho (SPL). Notavelmente, ele alcança taxas de conclusão de tarefa mais altas do que o Action Chunk, apesar de este último possuir uma cabeça de predição maior, e mantém métricas competitivas de Taxa de Passo Bloqueado (BSR) e Suavidade de Direção (HS).
• Zero-Shot no Mundo Real: Implantado em um robô móvel físico sem ajuste fino, o CoFL-S alcançou uma Taxa de Sucesso de 0,75 comparado a 0,46 para Action Token e 0,33 para Action Chunk. Demonstrou menos colisões, tempos de conclusão menores e navegação mais estável, particularmente em passagens estreitas onde os baselines discretos tendiam a oscilar ou ficar presos.

Significância e Alegações

O artigo afirma que a representação de ação de baixo nível é um componente crítico e frequentemente negligenciado da VLN. Ao mudar de predições de ação discretas ou de horizonte finito para um campo de fluxo espacialmente consultável, o CoFL-S fornece uma "família de alvos de movimento corretivos" em vez de uma decisão única do estado atual. Esta supervisão densa ao nível do espaço de trabalho permite que a política acople melhor a semântica da instrução local com as restrições geométricas, resultando em um controle contínuo mais robusto.

Os autores enfatizam que, embora o CoFL-S assuma a disponibilidade de uma subinstrução local (dependendo de um planejador de alto nível para a decomposição), ele resolve efetivamente o problema da camada de execução. Os resultados sugerem que políticas de campo de fluxo com supervisão densa oferecem maior consciência geométrica e estabilidade em comparação com as interfaces de ação tradicionais, particularmente em implantações zero-shot no mundo real, onde latência e variabilidade ambiental são fatores significativos.