Resumo Técnico: Submissão da CuriosAI ao Desafio CASTLE no EgoVis 2026

Definição do Problema

O Desafio CASTLE no EgoVis 2026 apresenta uma tarefa de recuperação e verificação em larga escala envolvendo 185 perguntas de múltipla escolha derivadas de mais de 600 horas de vídeo multiview sincronizado. O conjunto de dados compreende filmagens de 12 participantes gravadas ao longo de quatro dias usando 10 câmeras ego montadas na cabeça e 5 câmeras exo fixas, resultando em 15 streams sincronizados em 4K com áudio alinhado.

A dificuldade central reside no acoplamento da recuperação de longa duração com a verificação multimodal de granularidade fina. Os autores identificam que especialistas em vídeo-áudio sem restrições frequentemente falham nesta escala devido à "confabulação", caracterizada por:

• Reiterar o contexto do prompt em vez de observar o vídeo.
• Selecionar respostas com base em clipes silenciosos ou padrões de teste.
• Assertar contagens sem fundamentação espacial.
• Exibir alta confiança sem evidências.

Metodologia

A submissão explora duas abordagens distintas construídas sobre uma camada de pré-processamento multimodal compartilhada. Esta camada compartilhada processa o corpus CASTLE 2024 offline em cinco faixas de dados somente leitura:

1. Identidade da Pessoa: Utiliza YOLO11x para detecção corporal, ArcFace para embeddings faciais e OSNet para reidentificação entre câmeras para rastrear 12 participantes.
2. Legendas Visuais: Gera legendas usando quatro modelos (Qwen3-VL, InternVL3, Qwen3-Omni) em janelas de tempo variadas (300s a 1800s) e estilos de prompt (cena, narrativa, foco em ação, rico em raciocínio).
3. Objetos Detectados: Emprega SAM 3 para detecção de vocabulário aberto para lidar com objetos fora dos vocabulários padrão ImageNet/COCO (por exemplo, jogos de tabuleiro específicos, decorações de feriado).
4. Transcrições de Áudio: Utiliza WhisperX para transcrição, pyannote para diarização e WeSpeaker para resolução de falantes, com uma regra de consenso para câmeras fixas para verificar a identidade do falante.
5. Cronograma de Ações: Resume ações por pessoa como tuplas (intervalo de tempo, verbo, coatores) usando Qwen3.5.

Abordagem A: SVA (Pesquisar–Verificar–Responder)

SVA é um pipeline de três estágios projetado para isolar o julgamento final atrás de uma disciplina explícita anti-confabulação.

• Pesquisar: Agrega dados de pré-processamento em 50 células (dia, hora). Utiliza recuperação híbrida (BM25 + e5-large-v2) e um reclassificador GPT-5-mini para estreitar candidatos, seguido por uma chamada de raciocínio GPT-5 para selecionar uma janela principal de 15 minutos e uma resposta tentativa.
• Verificar: Expande a âncora de busca em ~24 sub-janelas adjacentes de 5 minutos. Um VLM (Qwen3-Omni-30B) verifica essas janelas sob quatro regras estritas anti-confabulação:
  1. Sem eco: Não reiterar o contexto do prompt.
  2. Abster-se: Abster-se de responder se a evidência estiver ausente (por exemplo, clipes silenciosos).
  3. Localizar: Deve fornecer fundamentação espacial para contagens.
  4. Fundamentar: Evitar alta confiança sem fundamentação.
• Responder: Um único juiz LLM (GPT-5) funde a pergunta, as opções, as evidências classificadas e uma trilha de raciocínio de um Gemini-2.5-Pro. Segue uma hierarquia de prioridade de evidências (OCR > citação de áudio > visual > contexto) e rejeita respostas de contagem sem fundamentação.

Abordagem B: TMKG (Grafo de Conhecimento–Multimodal–Temporal)

TMKG serve como contraste, testando se uma estrutura de grafo de conhecimento pode substituir a pilha desacoplada de verificação e julgamento.

• Construção do Grafo: Agrupa transcrições, legendas, ações e objetos concorrentes em nós de "Observação" (granularidade de 5 minutos). Observações multiview que compartilham tempo, localização e pessoas são agregadas em nós de "EventoGlobal". Bordas tipadas ligam observações a eventos, pessoas a eventos e eventos a locais/objetos.
• Recuperação: Analisa perguntas para extrair entidades e intenções. Utiliza índices híbridos (BM25 + e5-large-v2) sobre resumos do grafo e aplica predicados de grafo (PARTICIPA_EM, LOCALIZADO_EM, ENVOLVE) para reclassificar. A borda PRECEDE lida com consultas de proximidade temporal.
• Responder: Passa os quadros de vídeo multicâmera da célula selecionada e as evidências agrupadas para um único VLM fundamentado (Qwen3-Omni-30B) para emitir a escolha final, confiança e justificativa.

Contribuições Principais

1. Comparação de Dupla Abordagem: O artigo contrasta um pipeline hierárquico e multiestágio (SVA) com uma abordagem de estágio único baseada em grafo de conhecimento (TMKG) para determinar a eficácia da estrutura de recuperação versus disciplina de verificação.
2. Disciplina Anti-Confabulação: Os autores formalizam um conjunto de restrições no nível do prompt (sem eco, abster-se, localizar, fundamentar) especificamente projetadas para mitigar alucinações em modelos de vídeo sem restrições.
3. Substrato de Pré-processamento Compartilhado: Um pipeline offline robusto que integra rastreamento de identidade, detecção de vocabulário aberto e legendagem multissistema para suportar diversas estratégias de recuperação.

Resultados

Os autores relatam a seguinte precisão no leaderboard oficial (185 perguntas):

• Abordagem A (SVA): 0,50 de precisão (Submissão Final).
• Abordagem B (TMKG): 0,35 de precisão.

Análise dos Modos de Falha:

• O modo de falha dominante para ambos os pipelines é o estágio de Pesquisa estreitando-se para uma célula incorreta, da qual a verificação a jusante não pode se recuperar.
• SVA requer significativamente mais recursos computacionais (28 chamadas LLM/VLM por pergunta) em comparação com TMKG (1 chamada).
• As regras anti-confabulação em SVA não foram abaladas; portanto, sua contribuição específica para o ganho de pontuação não está isolada, mas são apresentadas como um componente crítico de design.

Significado e Alegações

O artigo alega que, na escala do desafio CASTLE 2026, a verificação disciplinada ao nível do clipe contribui mais para o desempenho do que alterar a estrutura de recuperação. A lacuna de 0,15 na precisão entre SVA e TMKG sugere que adicionar uma camada de disciplina de verificação (abstenção, localização de contagem, fundamentação de evidências e sem eco) é essencial, mesmo que aumente o número de chamadas do modelo.

Os autores concluem que, embora ambos os pipelines estejam atualmente limitados pelas mesmas falhas de localização no estágio de Pesquisa, a próxima direção natural é combinar recuperação de maior precisão com essa disciplina de verificação estabelecida. O artigo não alega ter resolvido o gargalo de recuperação, mas enfatiza que a disciplina de verificação é uma camada necessária sobre qualquer substrato de recuperação para esta escala de tarefa.