Resumo Técnico: CST-WM: Um Modelo de Mundo com Estrutura Causal para Rastreamento Visual Incorporado

1. Definição do Problema

O rastreamento visual incorporado exige que um robô siga um alvo em movimento a partir de observações egocêntricas, mantendo a visibilidade, regulando a distância de seguimento e garantindo a segurança em ambientes obstruídos e parcialmente observáveis. O desafio central não surge quando o alvo está claramente visível, mas durante oclusões temporárias, deriva de campo de visão ou quando o alvo se torna confundível com distratores. Nesses cenários, o robô deve tomar decisões preditivas sobre a futura observabilidade do alvo e a escala aparente antes que evidências confiáveis estejam disponíveis novamente.

Os autores identificam um modo de falha específico em modelos de predição sequencial condicionados à ação, denominado alucinação causal. Em modelos de mundo padrão, a forte correlação entre as ações de controle do robô e as observações relacionadas ao alvo pode levar o modelo a alucinar um efeito causal direto da ação atual sobre a evidência do alvo. Em vez de permitir que as ações influenciem a evidência futura do alvo apenas através do mecanismo físico do movimento do robô alterando a observação, o modelo pode utilizar um "atalho", injetando informações da ação diretamente no estado do alvo. Isso resulta em simulações (rollouts) futuras plausíveis que possuem semânticas incorretas para o planejamento orientado ao rastreamento, falhando em distinguir entre sequências de ações que preservam a visibilidade e aquelas que não o fazem.

2. Metodologia: CST-WM

Para abordar a alucinação causal, os autores propõem o CST-WM (Modelo de Mundo com Estrutura Causal), que impõe uma restrição estrutural na representação do planejamento.

2.1 Decomposição Causal e Representação de Estado

O modelo decompõe o estado latente $S_\ell$ em três ramos distintos:

1. Ramo de Evidência do Alvo ($H_\ell$): Uma representação compacta derivada da observação atual, consistindo em um escore de confiança de detecção (do GroundingDINO) e uma área do alvo normalizada (servindo como um proxy para escala aparente/distância). Crucialmente, este ramo não é uma estimativa completa do estado externo, mas um resumo da observabilidade e escala.
2. Ramo do Robô ($x_\ell$): Representa o estado cinemático do robô, integrado a partir do histórico de ações.
3. Ramo de Observação ($Z_\ell$): Uma representação latente visual codificada via um VAE pré-treinado.

2.2 Transição Estruturada Causalmente

A inovação central é a fatoração da dinâmica de transição para evitar a injeção direta de ação no ramo de evidência do alvo. A transição é definida como:
$$p(H_{\ell+1}, x_{\ell+1}, Z_{\ell+1} | H_\ell, Z_\ell, x_\ell, a_\ell) = p(H_{\ell+1} | H_\ell, Z_\ell, x_\ell) \cdot p(x_{\ell+1} | x_\ell, a_\ell) \cdot p(Z_{\ell+1} | Z_\ell, H_{\ell+1}, x_{\ell+1})$$

As restrições arquiteturais fundamentais incluem:

• Restrição de Não-Vazamento (Non-Leakage): A atualização do ramo de evidência do alvo $H_{\ell+1}$ é condicionada ao estado anterior e ao estado do robô, mas exclui explicitamente a ação atual $a_\ell$. Matematicamente, $\frac{\partial \hat{H}_{\ell+1}}{\partial a_\ell} = 0$.
• Caminho da Ação: As ações influenciam a evidência futura do alvo apenas indiretamente: $a_\ell \to x_{\ell+1} \to Z_{\ell+1}$ (e subsequentemente $H_{\ell+1}$ via observação).
• Arquitetura de Camada Única: Os ramos são atualizados em uma ordem fixa (Evidência do Alvo $\to$ Robô $\to$ Observação) com mascaramento estrito para garantir que nenhuma representação portadora de ação entre na atualização da evidência do alvo.

2.3 Treinamento e Planejamento

• Treinamento: O modelo é treinado usando um Modelo Probabilístico de Difusão (DDPM) em tuplas de transição $(O_\ell, a_\ell, O_{\ell+1})$. Uma perda auxiliar sensível à distância é introduzida, supervisionada por rótulos de distância relativa apenas do simulador, para melhorar a correlação entre o proxy de evidência do alvo e a distância real. Esta supervisão é usada apenas durante o treinamento; nenhum sinal geométrico privilegiado está disponível no momento do teste.
• Planejamento: O sistema emprega Controle Preditivo por Modelo (MPC) usando o Método de Entropia Cruzada (CEM). O planejador executa sequências de ações candidatas usando a dinâmica aprendida, pontuando-as com base em uma função de valor que recompensa a visibilidade do alvo ($H_{vis}$), escala aparente apropriada ($H_{area}$), validade da ação e segurança. A primeira ação da melhor sequência é executada de maneira de horizonte recuante (receding-horizon).

3. Principais Contribuições

1. Formulação da Alucinação Causal: O artigo identifica e formaliza a "alucinação causal" como uma falha estrutural específica em modelos de mundo condicionados à ação para rastreamento, onde os modelos confundem sinais de controle com evidência do alvo.
2. Arquitetura CST-WM: A proposta de um modelo de mundo estruturalmente causal que bloqueia explicitamente a injeção direta de ação no ramo de evidência do alvo, garantindo que a evidência do alvo evolua apenas através das consequências do movimento próprio sobre as observações.
3. Representação Compacta Orientada ao Planejamento: A introdução de um proxy de evidência do alvo (confiança de detecção + área normalizada) que resume observabilidade e escala para o planejamento sem exigir a recuperação total do estado geométrico ou supervisão privilegiada no momento da inferência.
4. Avaliação Abrangente: Uma avaliação rigorosa no EVT-Bench e Habitat 3.0, incluindo rastreamento padrão, recuperação de perda de alvo, transferência entre conjuntos de dados e diagnósticos offline (fidelidade de rollout, consistência de valor de planejamento e análise de vazamento).

4. Resultados Experimentais

Os autores avaliaram o CST-WM contra baselines reativos (ex: TrackVLA, Uni-NaVid) e modelos de mundo adaptados (ex: Modelos de Mundo de Navegação) em três configurações:

• Rastreamento Padrão: No EVT-Bench, o CST-WM alcançou a maior Taxa de Sucesso (88,7%), Taxa de Rastreamento (83,4%) e a menor Taxa de Colisão (1,41%). No Habitat 3.0, melhorou a Taxa de Seguimento (0,53), o Sucesso de Alcance de Distância (0,70) e o Sucesso do Episódio (0,61) em comparação com os baselines.
• Recuperação de Perda de Alvo: Em cenários envolvendo oclusão curta/longa, deriva de fora do campo de visão (FOV) e travessia de distratores, o CST-WM demonstrou sucesso superior de reaquisição (ex: 0,84 vs. 0,71 para oclusão curta) e tempos de recuperação mais rápidos.
• Diagnósticos Offline:
  • Fidelidade de Rollout: O CST-WM mostrou menor erro de predição latente e maior AUROC de visibilidade do alvo ao longo de horizontes longos em comparação com os baselines, com a lacuna de desempenho aumentando conforme o horizonte aumentava.
  • Consistência de Valor de Planejamento: O modelo alcançou uma maior correlação de rank (Spearman's $\rho$ = 0,68) com os rankings induzidos pelo simulador de sequências candidatas, indicando uma melhor avaliação comparativa de comportamentos futuros.
  • Análise de Vazamento: Diagnósticos baseados em Jacobiano confirmaram que o vazamento direto de ação para o ramo de evidência do alvo foi reduzido a quase zero ($\approx 0,001$), enquanto os baselines exibiram vazamento significativo.

5. Significância e Alegações

O artigo argumenta que, para o rastreamento visual incorporado, a predição futura por si só é insuficiente; a própria estrutura preditiva deve alinhar-se com a forma como a evidência do alvo entra no planejamento.

Os autores afirmam que, ao impor uma estrutura causal onde a evidência do alvo é atualizada sem injeção direta de ação, o modelo evita os erros semânticos associados à alucinação causal. Este alinhamento estrutural permite um seguimento mais estável, melhor controle de distância e uma reaquisição de alvo mais confiável sob oclusão. Os resultados sugerem que a fatoração proposta melhora tanto o desempenho do controle descendente quanto a qualidade interna dos futuros imaginados.

Os autores permanecem modestos em relação às suas alegações, observando que:

• O método depende de um detector (GroundingDINO), e o desempenho degrada se o detector falhar (ex: desfoque intenso, pontos de vista extremos).
• O proxy de evidência do alvo não é um estimador de distância métrica, mas um proxy baseado em escala eficaz dentro de um intervalo específico (1–3m).
• A evidência primária vem de simulação (EVT-Bench, Habitat 3.0) e, embora resultados qualitativos no mundo real sejam mostrados, estatísticas de robôs físicos em larga escala não são reportadas.
• A restrição de não-vazamento é um requisito estrutural para a representação de planejamento, não uma afirmação de recuperação causal total da dinâmica humanoide externa.