💻 computer science

Cambrian-P: Pose-Grounded Video Understanding

O artigo apresenta o Cambrian-P, um modelo de linguagem multimodal para vídeo que incorpora a pose da câmera quadro a quadro como um sinal de supervisão leve para aprimorar significativamente o raciocínio espacial e a compreensão geral de vídeos ao modelar a cena 3D persistente em vez de tratar os quadros como instantâneos 2D isolados.

Autores originais: Jihan Yang, Zifan Zhao, Xichen Pan, Shusheng Yang, Junyi Zhang, Bingyi Kang, Hu Xu, Saining Xie

Publicado 2026-05-22

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jihan Yang, Zifan Zhao, Xichen Pan, Shusheng Yang, Junyi Zhang, Bingyi Kang, Hu Xu, Saining Xie

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: A Câmera "Amnésica"

Imagine que você está assistindo a um vídeo de alguém caminhando por uma casa. Para uma IA padrão (um Modelo de Linguagem Multimodal de Grande Escala, ou MLLM), esse vídeo parece uma pilha de cartões-postais desconectados. A IA vê uma foto de uma cozinha, depois uma foto de um corredor, e então uma foto de um quarto.

O problema é que a IA não sabe como a câmera se moveu entre essas fotos. Ela não sabe se a câmera virou para a esquerda, avançou ou girou em torno de si mesma. Sem esse "mapa de movimento", a IA tem dificuldade em responder a perguntas como: "Se estou em pé na pia, a geladeira está à minha esquerda ou à direita?" É como tentar resolver um quebra-cabeça onde você tem todas as peças, mas não faz ideia de como elas se encaixam no espaço 3D.

A Solução: Dando à IA um "GPS"

Os pesquisadores por trás do Cambrian-P perceberam que a peça faltante é a Pose da Câmera. Em termos simples, "pose" é apenas uma maneira elegante de dizer: "Onde está a câmera e para onde ela está apontando?"

Eles construíram uma nova versão de sua IA chamada Cambrian-P que não apenas olha para a foto; ela também calcula as coordenadas de GPS e a direção da bússola da câmera para cada único quadro.

A Analogia:
Pense em uma IA de vídeo padrão como um turista que tira uma foto em cada parada, mas esquece de anotar o nome da rua ou para onde estava olhando. Eles acabam com um álbum de fotos, mas sem um mapa.
O Cambrian-P é como esse turista carregando um relógio GPS inteligente. Toda vez que tiram uma foto, o relógio registra automaticamente: "Estou na 5ª Avenida com a Rua Principal, olhando para o Norte." De repente, o turista pode olhar para seu álbum de fotos e dizer: "Ah, caminhei 15 metros para frente e virei à esquerda para chegar a esta próxima foto."

Como Funciona (Os Ingredientes Mágicos)

Os pesquisadores não precisaram reconstruir toda a IA do zero. Eles adicionaram duas ferramentas muito pequenas e leves:

O "Token de Pose" (A Etiqueta GPS): Para cada quadro do vídeo, eles anexam uma etiqueta digital minúscula e invisível que contém a localização e a direção da câmera. É como colar um post-it em cada foto do álbum dizendo "Olhando para o Norte".
O "Cabeça de Pose" (A Bússola): Eles adicionaram um pequeno módulo cerebral extra que observa o vídeo e adivinha as coordenadas de GPS.

O Desafio do Treinamento:
Treinar essa nova IA foi complicado porque "Resposta a Perguntas sobre Vídeo" (responder a perguntas) e "Estimativa de Pose" (adivinhar o GPS) querem aprender de maneiras diferentes.

Resposta a Perguntas sobre Vídeo gosta de ver a história inteira de forma uniforme (como ler um capítulo de livro por vez).
Estimativa de Pose precisa ver saltos aleatórios e movimentos específicos para aprender como o movimento funciona (como praticar passos de dança).

Se você os misturar mal, a IA fica confusa. Os pesquisadores resolveram isso com uma Estratégia de Treinamento Intercalado. Imagine uma rotina de academia onde você alterna entre "Cardio" (Resposta a Perguntas sobre Vídeo) e "Musculação" (Estimativa de Pose) em dias diferentes, em vez de tentar fazer os dois exatamente no mesmo segundo. Isso permitiu que a IA dominasse ambas as habilidades sem que uma estragasse a outra.

O Que Eles Descobriram?

Os resultados foram surpreendentemente poderosos:

Melhor Raciocínio Espacial: Em testes onde a IA tinha que adivinhar distâncias, direções ou tamanhos de salas, o Cambrian-P obteve pontuações significativamente melhores (melhorando de 4,5% a 6,5%). Ele parou de adivinhar aleatoriamente e começou a entender o layout 3D.
Funciona em Vídeos "Selvagens": Mesmo quando treinaram a IA em vídeos da internet que não tinham dados de GPS perfeitos (usando "pseudo-anotações" ou palpites gerados por IA), o modelo ainda ficou mais inteligente. Provou que saber como a câmera se move ajuda a IA a entender o mundo, mesmo que os dados não sejam perfeitos.
É Rápido: Geralmente, adicionar rastreamento 3D torna as coisas lentas. Mas, como o Cambrian-P é construído sobre uma base muito eficiente, ele pode estimar o caminho da câmera quase tão rápido quanto o vídeo é reproduzido, tornando-o adequado para uso em tempo real.

A Conclusão

O artigo argumenta que a Pose da Câmera é o "ingrediente secreto" que a IA de vídeo tem estado a perder. Ao ensinar a IA a rastrear seu próprio movimento através de uma cena, ela se transforma de uma observadora passiva de imagens 2D em um compreendedor ativo do espaço 3D.

Em resumo: O Cambrian-P dá à IA de vídeo um senso de direção e distância, transformando uma pilha de fotos planas em um mundo coerente e navegável.

Resumo Técnico: Cambrian-P: Compreensão de Vídeo Fundamentada em Pose

Declaração do Problema

Os Modelos de Linguagem Grandes Multimodais (MLLMs) atuais se destacam na compreensão semântica de vídeo — como reconhecimento de ações e sumarização narrativa —, mas consistentemente lutam com tarefas que exigem inteligência espacial visual. A limitação central identificada é que os MLLMs padrão processam quadros de vídeo como instantâneos 2D isolados, desconectados da estrutura espacial 3D persistente da cena. Sem uma fundamentação explícita na geometria 3D, os modelos falham ao raciocinar sobre relações espaciais, movimento da câmera e coerência global da cena. Embora a pose da câmera (posição e orientação) tenha sido há muito tempo um pilar da visão 3D e da robótica (por exemplo, Estrutura a partir do Movimento, SLAM), ela permanece amplamente ausente dos sinais de treinamento dos MLLMs de vídeo.

Metodologia: Cambrian-P

Os autores introduzem o Cambrian-P, um MLLM de vídeo aprimorado com capacidades nativas de previsão de pose da câmera. A abordagem é projetada para ser leve, exigindo mudanças arquiteturais mínimas nos MLLMs existentes, enquanto introduz um novo paradigma de treinamento.

1. Arquitetura

Modelo Base: Construído sobre a arquitetura Cambrian-S, que emparelha um codificador de visão SigLIP2-SO400m com um LLM Qwen2.5 via um projetor MLP.
Tokens de Pose da Câmera: Para permitir a estimativa de pose dentro do espaço de características do LLM, o modelo anexa um pequeno conjunto de tokens de pose da câmera aprendíveis aos tokens visuais de cada quadro antes que eles entrem no LLM.
- Duas consultas aprendíveis distintas são usadas: $c_{first}$ para o quadro inicial e $c_{rest}$ para todos os quadros subsequentes. Isso permite que o modelo distinga o primeiro quadro e represente todas as poses relativas ao sistema de coordenadas da primeira câmera.
- Esses tokens são colocados após os tokens de visão, mas antes dos embeddings de texto, para respeitar o mecanismo de atenção causal.
Cabeça de Pose: Um projetor leve mapeia o estado oculto do token de pose do LLM para uma dimensão de característica de pose. Uma cabeça de câmera dedicada (inspirada no VGGT), consistindo em quatro camadas de auto-atenção seguidas por uma camada linear, regressa os parâmetros finais da câmera.

2. Objetivo de Treinamento

A função de perda total combina a Predição do Próximo Token (NTP) padrão para VQA com uma perda de estimativa de pose da câmera:
$\mathcal{L} = \mathcal{L}_{NTP} + \lambda_{pose} \cdot \mathcal{L}_{pose}$

Perda de Pose ( $\mathcal{L}_{pose}$ ): Supervisiona a codificação de pose prevista (translação $t$ $t$ , quaternion de rotação $q$ $q$ e campo de visão $f$ $f$ ) contra o ground truth usando uma perda L1 ponderada.
- Normalização de Escala: Para lidar com conjuntos de dados com escalas físicas variadas (métricas vs. não métricas), a perda de translação é normalizada pelo comprimento da trajetória. Para dados não métricos, um fator de escala de mínimos quadrados em forma fechada é calculado para alinhar a forma da trajetória prevista com o ground truth sem colapsar a escala.
Estratégia de Treinamento Intercalado: Os autores identificam um conflito entre as dinâmicas de treinamento de VQA e estimativa de pose:
- VQA tipicamente usa amostragem uniforme de quadros e evita aumentações pesadas para preservar a correção factual.
- Estimativa de Pose requer amostragem temporal aleatória, intervalos dinâmicos e aumentações pesadas (por exemplo, jitter de cor, desfoque) para aprender características geométricas robustas.
- Solução: Um esquema de treinamento intercalado mistura três tipos de lotes:
  1. Apenas VQA: Amostragem uniforme padrão com perda NTP.
  2. Apenas Pose: Amostras com amostragem dinâmica/aleatória e aumentações pesadas, supervisionadas apenas pela perda de pose (omitindo a perda de VQA para prevenir alucinações em contextos incompletos).
  3. Conjunto: Amostras com ambas as perdas.
Jitter Aleatório: Para evitar que o modelo memorize correspondências fixas quadro-pose na amostragem uniforme, um jitter aleatório é aplicado aos índices de quadro durante o treinamento de VQA.

3. Escalonamento de Dados

Ground Truth: O treinamento utiliza dados anotados com pose do VSI-590K (ScanNet, ScanNet++, ARKitScenes) e MapAnything.
Pseudo-Anotação: Para escalar além dos dados GT limitados, os autores usam o VIPE (um motor de pose de vídeo em streaming feed-forward) para gerar pseudo-anotações de pose para vídeos de domínio geral (por exemplo, do corpus Cambrian-S-3M). Esses pseudo-rótulos são filtrados por qualidade e usados na receita de treinamento intercalado.

Contribuições Principais

MLLM Fundamentado em Pose: Demonstra que introduzir a pose da câmera como um sinal de supervisão leve melhora significativamente as capacidades de raciocínio espacial dos MLLMs.
Eficiência Arquitetural: Alcança resultados state-of-the-art com sobrecarga mínima (apenas tokens aprendíveis e uma pequena cabeça), evitando designs pesados de codificador duplo ou backbones 3D especializados.
Dinâmicas de Treinamento: Propõe uma estratégia de treinamento intercalado e amostragem com jitter aleatório para reconciliar os requisitos conflitantes de VQA e estimativa de pose.
Capacidade Dupla: O modelo alcança estimativa de pose de câmera em streaming competitiva (superando modelos especialistas como StreamVGGT e CUT3R no ScanNet) enquanto melhora simultaneamente o desempenho em QA de Vídeo.
Generalização: Mostra que a supervisão de pose melhora benchmarks gerais de QA de vídeo (por exemplo, MVBench, EgoSchema) mesmo quando treinada em dados específicos de espaço, sugerindo que a pose é um sinal fundamental para a compreensão do mundo físico.

Resultados

Raciocínio Espacial (VQA)

VSI-Bench: O Cambrian-P alcança 73,7% de precisão, superando sua contraparte sem pose (Cambrian-S) em 4,5% e ultrapassando outros modelos especialistas em espaço.
VSTemporalI-Bench: Mostra uma melhora de 20% na sub-tarefa de direção de movimento da câmera em comparação com a linha de base sem pose.
Fora de Distribuição (OOD): Melhorias são observadas em oito benchmarks (incluindo MindCube, MVBench, EgoSchema) apesar do treinamento primário no VSI-590K.
Escalonamento de Pseudo-Pose: Adicionar dados de pose pseudo-anotados de vídeos gerais impulsiona ainda mais o desempenho em benchmarks gerais de VQA, mantendo ganhos em tarefas espaciais.

Estimativa de Pose da Câmera

ScanNet (Streaming): Alcança um Erro de Trajetória Absoluta (ATE) state-of-the-art de 0,078 entre modelos de streaming, superando o StreamVGGT (0,127) e o CUT3R (0,096).
Eficiência: Apesar de ter 8,2B de parâmetros (maior que modelos especialistas), o Cambrian-P alcança menor latência (0,02s por quadro no modo offline) devido ao codificador SigLIP compacto e à arquitetura de transformador causal.

Leis de Escalonamento

Tamanho do Modelo: O desempenho tanto em VQA quanto em estimativa de pose melhora consistentemente à medida que o tamanho do modelo escala de 0,5B para 7B.
Tamanho dos Dados: Aumentar a fração de dados anotados com pose leva a melhorias monotônicas tanto na precisão do VSI-Bench quanto no erro de estimativa de pose.
Iterações de Treinamento: Aumentar as iterações de treinamento específicas para pose melhora a precisão da pose sem degradar o desempenho de VQA.

Significado e Alegações

O artigo postula que a pose da câmera é um sinal fundamental para modelos de vídeo que raciocinam sobre o mundo físico. Ao fundamentar pixels em um quadro de coordenadas 3D compartilhado, a supervisão de pose:

Impõe Consistência Global: Conecta quadros isolados em uma cena 3D coerente, permitindo que o modelo desconecte o movimento da câmera da dinâmica da cena.
Melhora o Raciocínio Espacial: Permite que os MLLMs raciocinem de forma mais global, evidenciado por ganhos significativos de desempenho em perguntas envolvendo objetos espacialmente distantes e planejamento de rotas.
Sinergia: Há um benefício bidirecional; um melhor alinhamento vídeo-linguagem (via pré-treinamento de VQA) melhora a estimativa de pose, e a supervisão de pose melhora o VQA.

Os autores concluem que o Cambrian-P avança os MLLMs em direção à compreensão de vídeo fundamentada no mundo real, posicionando a pose da câmera não meramente como uma pista auxiliar, mas como um viés indutivo fundamental para a próxima geração de modelos de vídeo.