Results of the 1st Asynchronous CASTLE Challenge at the Joint Egocentric Vision Workshop in Conjunction with CVPR 2026
Este artigo resume as contribuições e os resultados do 1º Desafio Asynchronous CASTLE, que foi realizado no Joint Egocentric Vision Workshop em conjunto com a CVPR 2026.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine tentar se lembrar de tudo o que aconteceu durante as férias de quatro dias, não apenas os pontos altos, mas cada conversa, cada objeto movido e cada pequena mudança no ambiente, tudo isso enquanto observa através dos olhos de dez pessoas simultaneamente. Este é o tipo de teste de memória com o qual os computadores lutam, mesmo quando são alimentados com milhares de horas de vídeo. No campo da inteligência artificial, pesquisadores estão tentando construir sistemas que possam assistir a gravações longas e não roteirizadas da vida cotidiana e responder a perguntas específicas sobre elas, de forma muito semelhante ao que um humano faria após ler um diário ou assistir a um filme. O desafio reside no volume colossal de informações e na necessidade de conectar detalhes que podem estar separados por horas ou dias. Se uma máquina puder aprender a fazer isso, ela poderá, eventualmente, nos ajudar a pesquisar através de anos de filmagens pessoais para encontrar um momento específico ou compreender padrões complexos na forma como as pessoas vivem.
Para testar o quão próximos estamos de resolver isso, um grupo de pesquisadores organizou uma competição chamada CASTLE Challenge. Eles forneceram às equipes um conjunto de dados massivo contendo mais de 600 horas de vídeo em ultra-alta definição, gravado em alta velocidade para capturar cada detalhe. As filmagens vieram de câmeras usadas por dez participantes enquanto eles seguiam com suas vidas normais, juntamente com cinco câmeras estacionárias observando a partir da sala. Os dados eram ricos, incluindo áudio, monitores de frequência cardíaca e até imagens térmicas, criando um registro digital completo de quatro dias de atividade. A tarefa para as equipes competidoras era simples na teoria, mas incrivelmente difícil na prática: elas tinham que responder a 185 perguntas de múltipla escolha sobre o que aconteceu nos vídeos. Essas perguntas exigiam que o computador rastreasse pessoas, contasse objetos, lembrasse onde as coisas estavam escondidas e entendesse o tempo dos eventos, como descobrir quem comeu uma fatia de bolo primeiro ou quão rápido alguém estava carregando seu carro no último dia.
Quatro equipes aceitaram o desafio, cada uma trazendo uma estratégia diferente para o problema. A equipe vencedora, conhecida como WDL, tratou a tarefa como um detetive reunindo pistas. Em vez de tentar assistir às 600 horas de vídeo de uma só vez, seu sistema primeiro olhava para a pergunta para encontrar palavras-chave, como o nome de uma pessoa ou um dia específico. Em seguida, usava essas pistas para extrair apenas as partes mais relevantes do vídeo e das transcrições faladas, ignorando o restante. Eles treinaram seu modelo de computador para focar estritamente na evidência encontrada, executando variantes de prompts rigorosas, equilibradas e agressivas para cada pergunta para garantir a consistência através da auticonsistência de múltiplas amostras. Essa abordagem permitiu que alcançassem uma precisão de quase 58 por cento, o que significa que acertaram cerca de 108 das 185 perguntas.
Outra equipe, MARS, adotou uma abordagem mais interativa. Eles construíram um sistema que agia como um agente curioso, decidindo passo a passo qual tipo de informação observar a seguir. Se uma pergunta fosse sobre atividade física, o sistema poderia escolher verificar especificamente os dados de frequência cardíaca para essas consultas. Se fosse sobre para onde alguém estava olhando, ele buscaria os dados de rastreamento ocular. Ao escolher dinamicamente qual peça de evidência examinar, em vez de tentar processar tudo de uma vez, eles melhoraram sua pontuação para 57 por cento. Uma terceira equipe, TAHAKOM, organizou as informações em um mapa estruturado de relacionamentos, conectando pessoas, lugares e objetos com carimbos de tempo. Isso permitiu que fizessem perguntas específicas ao sistema sobre as conexões entre os eventos, alcançando uma precisão de 54,6 por cento. A última equipe, CuriosAI, focou em impedir que o computador inventasse coisas. Eles construíram um processo rigoroso onde o sistema tinha que buscar evidências, verificá-las contra o vídeo bruto e então responder, garantindo que cada afirmação estivesse fundamentada no que foi realmente visto ou ouvido. Seu melhor método atingiu 49,7 por cento de precisão.
Os resultados da competição mostram que, embora os computadores estejam ficando melhores em entender vídeos longos, eles ainda têm um longo caminho a percorrer. As principais equipes responderam mais da metade das perguntas corretamente, o que é uma melhoria significativa em relação ao acaso, mas elas ainda erraram quase metade das respostas. O que é talvez mais revelador é que as equipes não acertaram todas as mesmas perguntas. Quando você combina as respostas corretas de todas as quatro equipes, elas conseguiram resolver 176 das 185 perguntas, deixando apenas nove que nenhuma equipe conseguiu responder. Isso sugere que nenhum método único é perfeito ainda, mas diferentes abordagens capturam diferentes peças do quebra-cabeça. Os pesquisadores descobriram que o maior obstáculo continua sendo a capacidade de cobrir evidências suficientes sem se perder no volume colossal de dados. Embora os sistemas possam navegar por centenas de horas de filmagens, a tarefa de raciocinar através de eventos não roteirizados do mundo real ao longo de longos períodos continua sendo um problema difícil. A competição não resolveu a questão, mas mostrou claramente que combinar essas diferentes estratégias poderia ser a chave para construir máquinas que verdadeiramente compreendam nossas vidas diárias.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.