VIABench: A Comprehensive Video Benchmark Collected from Blind Individuals for Visual Impairment Assistance

Resumo Técnico: VIABench

Declaração do Problema

Indivíduos com deficiência visual (IDV) enfrentam desafios diários significativos devido ao acesso limitado a informações visuais. Embora os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) tenham demonstrado um desempenho impressionante em tarefas gerais de visão-linguagem, sua utilidade prática na assistência real para cegos permanece amplamente inexplorada. Os benchmarks e conjuntos de dados existentes para assistência visual sofrem de limitações críticas:

• Lacuna de Domínio: Conjuntos de dados como o WAD dependem de vlogs de viagem curados destinados a pessoas com visão normal, falhando em capturar a natureza bruta e não editada das experiências reais dos IDVs.
• Limitações de Tarefa: Conjuntos de dados como o EgoBlind focam principalmente no VQA (Visual Question Answering) passivo e iniciado pelo usuário, negligenciando a necessidade de assistência proativa e autônoma.
• Restrições Temporais: Muitos benchmarks de vídeo existentes utilizam clipes curtos (ex: 3 segundos), que carecem da riqueza temporal necessária para o raciocínio de longo horizonte e navegação.
• Descompasso de Avaliação: As pipelines de avaliação online atuais são frequentemente computacionalmente pesadas e dependem de anotações esparsas, tornando-as inadequadas para avaliar tarefas de "estilo lembrete" que exigem monitoramento contínuo e alertas oportunos.

Consequentemente, há uma carência de um benchmark de vídeo abrangente e versátil, coletado por indivíduos cegos, que avalie os MLLMs em todo o espectro de necessidades assistivas, incluindo antecipação proativa e orientação interativa.

Metodologia

1. Construção do Conjunto de Dados VIABench

Os autores construíram o VIABench, um benchmark de vídeo egocêntrico de grande escala e alinhado temporalmente, especificamente adaptado para assistência à deficiência visual. A coleta de dados seguiu um pipeline de cinco estágios:

• Obtenção (Sourcing): Os vídeos foram reunidos de duas fontes: (1) Vídeos do mundo real de IDVs em plataformas como YouTube, Bilibili e DouYin, e (2) Vídeos simulados informados, gravados por anotadores treinados para cobrir cenários específicos de "Interação Guiada pela Visão" que são escassos em dados públicos.
• Anotação: O conjunto de dados inclui 761 vídeos totalizando 46,9 horas, com 14.526 anotações curadas manualmente. A duração média do vídeo é de 222 segundos (máximo de 1959s), significativamente mais longa que os conjuntos de dados anteriores.
• Controle de Qualidade: Um processo rigoroso envolvendo anotação piloto, colaboração com fornecedores profissionais e QA de múltiplos estágios garantiu rótulos de alta qualidade e detalhados.

2. Definições de Tarefa

O VIABench define três tarefas principais que refletem níveis crescentes de complexidade assistiva:

• Lembrete Proativo (Proactive Reminder): O modelo deve monitorar autonomamente o fluxo de vídeo e descrever proativamente eventos críticos de navegação futuros (ex: obstáculos, escadas) sem prompts explícitos do usuário. Isso requer antecipação precisa e responsividade em tempo real.
• Visual Question Answering (VQA): O modelo responde a perguntas feitas pelo usuário sobre o ambiente com base no contexto visual atual e passado, simulando consultas espontâneas durante a navegação.
• Interação Guiada pela Visão (Vision-Guided Interaction): Uma tarefa de ciclo fechado e múltiplas voltas onde o modelo fornece orientação iterativa e sensível ao contexto para ajudar o usuário a ajustar seu ponto de vista ou movimentos físicos para atingir um objetivo específico.

3. Estrutura de Avaliação: Decodificação de Ativação de Prompt em Nível de Token (TPAD)

Para abordar o desafio de avaliar o alerta proativo em modelos offline (que tipicamente requerem prompts explícitos), os autores propõem o TPAD, uma nova estrutura de avaliação de dois estágios:

• Mecanismo: O TPAD transforma um MLLM pré-treinado em um detector proativo frame-a-frame sem necessidade de ajuste fino (fine-tuning). Ele concatena um prompt de escolha forçada fixo (ex: "O usuário deve ser alertado? (A) Sim; (B) Não") com toda a sequência de vídeo.
• Pontuação: Para cada frame, o estado oculto de seu último token é projetado através da cabeça de modelagem de linguagem para calcular a probabilidade de emitir um alerta.
• Vantagem: Isso permite uma única passagem direta (forward pass) para gerar probabilidades de alerta frame-a-frame em todo o vídeo, permitindo uma avaliação eficiente e sensível ao contexto de modelos offline sob condições de streaming.

Principais Contribuições

1. Conjunto de Dados VIABench: A introdução de um benchmark de vídeo de grande escala e do mundo real para assistência a cegos, apresentando vídeos egocêntricos de longa duração e conteúdo diversificado. É o primeiro a unificar as tarefas de Lembrete Proativo, VQA e Interação Guiada pela Visão em um único benchmark.
2. Estrutura TPAD: A proposta de um mecanismo de avaliação leve de dois estágios que permite a avaliação eficiente da geração de alertas proativos em vídeos longos e contínuos, preenchendo a lacuna entre MLLMs offline e requisitos de assistência em tempo real.
3. Avaliação Abrangente: Uma avaliação sistemática de diversos MLLMs de código aberto, proprietários e de streaming online no VIABench, fornecendo insights sobre suas limitações atuais em aplicações assistivas do mundo real.

Resultados Experimentais

Os autores avaliaram uma ampla gama de modelos, incluindo modelos de fundação de código aberto (ex: InternVL, Qwen, LLaVA), modelos proprietários (GPT-5, GPT-4o, Gemini) e modelos de streaming online.

• Desempenho Geral: Os MLLMs atuais exibem apenas capacidades incipientes em assistência visual do mundo real. Mesmo o modelo mais forte, o GPT-5, alcançou uma pontuação média de apenas 28,8 no benchmark.
• Disparidades de Tarefa: O desempenho nas tarefas de Lembrete Proativo e Interação Guiada pela Visão é notavelmente inferior às tarefas padrão de VQA.
  • Lembrete Proativo: Os modelos frequentemente falham em antecipar eventos críticos de navegação ou geram orientações desalinhadas com os intervalos da verdade fundamental (ground-truth). Eles lutam com o requisito dinâmico de emitir alertas oportunos enquanto permanecem silenciosos quando não há informações relevantes presentes.
  • Interação Guiada pela Visão: Os modelos frequentemente fornecem instruções genéricas (ex: "pegue isso") em vez de orientação espacialmente específica, falhando em considerar a perspectiva única e as limitações dos IDVs.
• Modelos de Streaming: Os modelos de streaming online existentes apresentam um desempenho extremamente pobre na tarefa de Lembrete Proativo. Os autores atribuem isso à exposição limitada a instruções de orientação complexas e do mundo real em seus dados de treinamento (frequentemente limitadas a legendas densas ou narrações) e à falta de robustez a entradas visuais de baixa qualidade e não controladas.

Significância e Direções Futuras

O artigo afirma que o VIABench serve como um campo de teste desafiador e realista para impulsionar pesquisas futuras rumo ao desenvolvimento de MLLMs customizados para assistência real. Os autores enfatizam que os modelos atuais ainda não estão prontos para implantação em cenários de assistência a cegos de segurança crítica.

O artigo delineia três caminhos específicos para trabalhos futuros:

1. Melhoria de Arquitetura: Desenvolver arquiteturas de modelos capazes de respostas proativas confiáveis, sensíveis ao contexto e em tempo real.
2. Enriquecimento de Dados: Incorporar conjuntos de dados de vídeo-texto mais ricos que englobem diversos tipos de instrução, interações complexas e cenários do mundo real para melhorar o raciocínio proativo.
3. Otimização Centrada no Cego: Ajustar modelos especificamente para a perspectiva e intenções únicas de usuários cegos, abordando questões como entradas de baixa resolução, inversão de câmera e a necessidade de orientação espacialmente específica.

Em última análise, o trabalho visa melhorar a autonomia e a segurança de indivíduos com deficiência visual ao fomentar o desenvolvimento de tecnologias assistivas mais capazes e confiáveis.