Resumo Técnico: EgoCS-400K

1. Definição do Problema

A transição da geração de vídeo passiva para a modelagem de mundo interativa exige uma mudança fundamental nos dados de treinamento. Enquanto os atuais modelos de vídeo em larga escala dependem de vídeos da web legendados, os modelos de mundo requerem trajetórias de vídeo-ação-linguagem temporalmente alinhadas. Essas trajetórias devem estar fundamentadas nas ações específicas, movimentos de câmera, estados internos e eventos que impulsionam as mudanças futuras na cena.

As fontes de dados existentes não atendem a esses requisitos em escala:

• Datasets de Vídeos da Web: Oferecem ampla cobertura visual, mas carecem de ações executáveis e supervisão de estado confiável; a linguagem é fracamente alinhada com as ações causais.
• Datasets de Robótica: Fornecem supervisão precisa de ação e estado, mas são caros de coletar, limitados em diversidade de cenas e frequentemente carecem de trajetórias de interação complexas.
• Simuladores Existentes: Frequentemente carecem de trajetórias de interação em larga escala impulsionadas por humanos.

O desafio central é obter um conjunto de dados que seja impulsionado por humanos, em primeira pessoa, visualmente rico, temporalmente preciso e fundamentado em replay para preencher a lacuna entre a observação passiva e a simulação de mundo controlável.

2. Metodologia

Os autores introduzem o EgoCS-400K, um dataset egocêntrico de larga escala derivado de demos de partidas profissionais de Counter-Strike (CS:GO e CS2). O pipeline de construção (Fig. 2) consiste em três fases primárias:

Fase 1: Coleta e Renderização de Dados

• Fonte: Demos de partidas profissionais públicas da HLTV servem como a fonte de verdade autoritativa, contendo limites de rodadas, identidades de jogadores, posições, ângulos de visão, inputs e eventos de jogo.
• Renderização: Utilizando o CS Demo Manager e o cliente do jogo, o pipeline renderiza vídeos limpos em primeira pessoa a partir de pontos de vista específicos de jogadores. Os vídeos são renderizados a 32 FPS para alinhar com a lógica de 64 ticks por segundo do jogo, garantindo o alinhamento determinístico entre frames e game ticks.
• Filtragem: Gravações inválidas (ex: visões de espectador, artefatos de gravação de tela ou metadados incompatíveis) são descartadas para garantir observações visuais de alta fidelidade.

Fase 2: Parsing e Segmentação

• Parsing ao Nível de Tick: Um parser customizado (DemoParser2) extrai dados por tick (ticks.csv), incluindo posição do jogador, pitch/yaw, velocidade, botões de movimento, estados de arma e munição.
• Reconstrução de Ação:
  • Teclado/Mouse: Estados discretos de teclas são decodificados de bitmasks de botões. O movimento do mouse é reconstruído como deltas de ângulo de visão ($\Delta\theta, \Delta\psi$) em vez de contagens brutas de hardware.
  • Ações Atômicas: Detectores baseados em regras mapeiam sinais brutos para ações atômicas temporalmente delimitadas (ex: disparar, recarregar, inspecionar, lançar granada) armazenadas em events.csv.
• Cadeias Protegidas e Segmentação:
  • Intervalos Protegidos: Ações que causariam descontinuidade semântica se cortadas (ex: sacar arma, voo de granada) são marcadas como "protegidas".
  • Programação Dinâmica (DP): O pipeline utiliza um algoritmo de DP para segmentar sequências de visão do jogador em clipes de treinamento. O algoritmo seleciona fronteiras que minimizam uma função de custo (penalizando lacunas, falta de contexto e desvio da duração alvo) enquanto evita estritamente cortes dentro de intervalos protegidos. Isso garante que os segmentos preservem a integridade da ação.

Fase 3: Legendagem Guiada por Priores via VLM

Para gerar supervisão de linguagem estruturada, os autores empregam uma abordagem de Modelo de Linguagem-Visão (VLM) Guiado por Priores:

• Construção de Priores: Anotações globais são recortadas para a janela do segmento alvo.
• Filtragem de Priores: Para evitar alucinações e fundamentação espúria, os priores são filtrados:
  • Priores de Ação: Mantém apenas eventos com mudanças temporais visíveis (ex: removendo inputs de "disparar" durante animações de troca de arma).
  • Priores de Movimento/Câmera: Agrega deslocamentos e mudanças de ângulo de visão, descartando jitter de baixa evidência.
• Geração: O VLM recebe o vídeo, os priores filtrados e um esqueleto temporal determinístico. Ele produz um JSON estruturado contendo um scene_draft (detalhes visuais, progressão do ambiente) e um long_prompt (legenda coerente), garantando que a linguagem esteja temporalmente fundamentada nos traços de ação.

3. Principais Contribuições

1. Dataset EgoCS-400K: Um dataset de larga escala contendo >400.000 vídeos em primeira pessoa (>10.000 horas) de >1.000 partidas profissionais, cobrindo 13 mapas e mais de 40.000 rodadas. Fornece 10 pontos de vista de jogadores sincronizados por rodada.
2. Pipeline de Anotação de Múltiplos Grãos: Uma organização hierárquica que varia de traços de estado por tick a ações atômicas protegidas, cadeias de ação e segmentos de treinamento planejados por DP. Todas as anotações são auditáveis de volta ao arquivo de replay original.
3. Supervisão Fundamentada em Replay: Diferente da rotulagem manual, o dataset deriva ações, estados e movimentos de câmera diretamente dos logs do motor do jogo, garantindo o alinhamento temporal preciso entre observações visuais e sinais de controle.
4. Legendagem Estruturada: Um método inovador para gerar legendas restritas por fatos derivados do replay, evitando que o VLM alucine eventos não suportados enquanto captura detalhes visuais finos.

4. Resultados e Estatísticas do Dataset

O artigo apresenta o dataset como um recurso concluído, em vez de um benchmark com métricas de desempenho de modelos específicos. As estatísticas principais incluem:

• Escala: >1.000 partidas, >40.000 rodadas, >400.000 clipes de vídeo.
• Duração: >10.000 horas de gameplay; comprimento médio do clipe de ~90 segundos.
• Granularidade: 6 tipos de anotações por segmento, incluindo estados por tick, sinais de teclado/mouse, linhas do tempo de ação e legendas de múltiplos grãos.
• Cobertura: 13 mapas distintos e 10 pontos de vista de jogadores por rodada.

O artigo fornece exemplos qualitativos (Fig. 3) demonstrando o alinhamento dos frames visuais com traços de input sincronizados, linhas do tempo de ação e prompts gerados, mostrando como o dataset captura sequências complexas como preparação, voo de granada e troca de armas.

5. Significância e Alegações

Os autores posicionam o EgoCS-400K como uma ponte prática entre três paradigmas de dados existentes:

1. Vídeos da Web Passivos: Que carecem de fundamentação de ação/estado.
2. Simuladores de Jogos Controláveis: Que frequentemente carecem de diversidade impulsionada por humanos.
3. Dados Corporificados do Mundo Real de Alto Custo: Que são difíceis de escalar.

Alegações de Significância:

• Testbed Intermediário: O dataset serve como um testbed escalável para aprender dinâmicas condicionadas por ação, navegação corporificada e percepção visual ativa.
• Priores Transferíveis: Embora o ambiente seja simulado, ele captura priores egocêntricos transferíveis, como navegação, busca visual, controle de câmera, observabilidade parcial e interação multiagente.
• Auditabilidade: A natureza "fundamentada em replay" permite uma auditoria rigorosa da relação entre uma ação e a mudança visual resultante, um recurso ausente em datasets padrão de vídeo-texto.

Limitações Reconhecidas:
Os autores afirmam explicitamente que o EgoCS-400K é um testbed intermediário, não um modelo direto de corporeidade do mundo real.

• Lacunas de Domínio: Carece de interação física contínua, feedback tátil, objetos deformáveis e comportamentos cotidianos não combatentes.
• Espaço de Ação: Os controles são discretos (teclado/mouse) e governados pela física do jogo, não pela dinâmica do mundo real.
• Qualidade de Anotação: As legendas são geradas por VLM com flags de confiança, não por rótulos de ouro manuais, e podem conter erros de detalhes visuais.

Em conclusão, o EgoCS-400K fornece a infraestrutura necessária para treinar e avaliar modelos de mundo que entendam como as ações humanas impulsionam a evolução da cena, abordando uma lacuna de dados crítica na mudança em direção à modelagem visual interativa.