An Evaluation of Hybrid Annotation Workflows on High-Ambiguity Spatiotemporal Video Footage

Resumo Técnico: Uma Avaliação de Fluxos de Trabalho de Anotação Híbridos em Vídeos Espaciotemporais de Alta Ambiguidade

Definição do Problema
A anotação manual continua sendo o padrão ouro para conjuntos de dados de vídeo densos e de alta qualidade, mas é inerentemente demorada, cara e variável entre os anotadores. Este gargalo é particularmente severo em filmagens de vídeo de alta ambiguidade (ex: vigilância de mundo aberto), onde os eventos carecem de limites claros, envolvem oclusões e estão sujeitos a interpretações culturais e contextuais. Embora modelos de linguagem visual (VLMs) e fluxos de trabalho de Humano-no-Ciclo (HITL) tenham sido adotados para mudar o papel do anotador de "criar" para "verificar", há uma falta de estudos rigorosos e controlados que quantifiquem como as sugestões de IA afetam a eficiência da anotação, a consistência entre anotadores e a integridade semântica dos rótulos. Especificamente, existe o risco de que a assistência de IA possa induzir um "desvio semântico", onde a rotulagem humana se desloca em direção aos priors do modelo, potencialmente reduzindo a validade do rótulo mesmo quando o acordo aumenta.

Metodologia
Os autores apresentam um estudo A/B controlado e balanceado de contrapesos envolvendo 18 voluntários anotadores rotulando 30 vídeos de conjuntos de dados de mundo aberto (UCF-Crime, UCA, XD-Violence, ActivityNet Captions). O estudo avalia um fluxo de trabalho híbrido HITL projetado para segmentação temporal densa.

• Pipeline de Pré-Anotação: O sistema utiliza um pipeline cross-modal eficiente em recursos baseado em um codificador do tipo CLIP ajustado (fine-tuned). Os quadros do vídeo são codificados, e o agrupamento temporal (temporal pooling) agrega-os em embeddings de nível de vídeo. Estes são alinhados com embeddings de texto via aprendizado contrastivo (otimizando a perda de Entropia Cruzada simétrica).
• Agrupamento Hierárquico: Para gerar "clusters fortes" (Pré-Anotações), o pipeline aplica agrupamento k-means esférico recursivo no espaço de características. Isso cria uma estrutura de árvore hierárquica, interrompendo a subdivisão quando um limiar de coesão semântica ($\tau=0,85$) é atingido ou quando um profundidade máxima é alcançada. Esses clusters servem como sugestões iniciais de apenas leitura.
• Interface do Usuário: O fluxo de trabalho é integrado ao Label Studio. Na condição "Assistida", os anotadores visualizam segmentos pré-populados em uma linha do tempo temporal e devem duplicar explicitamente, ajustar limites e corrigir rótulos de classe. Na condição "Não Assistida", os anotadores criam segmentos do zero.
• Estrutura de Avaliação: O estudo mede três dimensões:
  1. Eficiência: Duração da tarefa e telemetria de interação.
  2. Consistência: Acordo entre anotadores (Homogeneidade) e alinhamento com uma Verdade de Campo de Consenso (derivada de uma estratégia de sobreposição de 6 votos).
  3. Padronização: Coerência estrutural medida através de Silhouette Scores no espaço latente para detectar variância estocástica ("jitter").

Principais Contribuições

1. Teste de Estresse Controlado: Um estudo isolando o efeito das Pré-Aotações no comportamento humano em configurações de alta ambiguidade, indo além de estudos simulados para filmagens de mundo aberto reais.
2. Fluxo de Trabalho Híbrido Reproduzível: Um pipeline de ponta a ponta e leve (Pré-Anotação + UI) liberado como código de código aberto, permitindo futuros benchmarks de interação humano-modelo.
3. Protocolo de Avaliação Multieixo: Um framework que vai além da velocidade para medir acordo, consenso e validade semântica no espaço latente para detectar desvio semântico.
4. Conjunto de Dados Público: Liberação de traços de interação anonimizados (tempo, edições, mudanças de rótulo) para apoiar a pesquisa sobre construção de conjuntos de dados centrados no humano.

Resultos

• Eficiência: O fluxo de trabalho híbrido reduziu o tempo de anotação em uma mediana de 35% para 72% dos participantes. A redução média de tempo em toda a coorte foi de 23,11%. Os ganhos de eficiência foram robustos em variações de duração de vídeo e complexidade de classe, e o benefício aumentou conforme os usuários se familiarizavam com a ferramenta.
• Consistência (Acordo): Contrariando os receios de ancoragem passiva, o grupo assistido manteve o alinhamento com a Verdade de Campo de Consenso (Informação Mútua Ajustada $\approx 0,64$) idêntico ao grupo não assistido. Isso indica que as Pré-Anotações não distorceram o julgamento do usuário nem induziram o desvio do consenso semântico coletivo.
• Homogeneidade (Estabilidade): O grupo assistido demonstrou um acordo entre anotadores significativamente maior (AMI: 0,67) em comparação ao grupo não assistido (AMI: 0,62). As Pré-Anotações atuaram como uma "âncora semântica", reduzindo o ruído estocástico e o "jitter" de fronteira inerente à rotulagem humana sem impor uma resposta correta arbitrária.
• Padronização: O Silhouette Score, um proxy para consistência estrutural interna, melhorou de 0,28 (não assistido) para 0,41 (assistido), uma melhoria relativa de 52,10%. Isso confirma que o fluxo de trabalho atua como um regularizador, filtrando o ruído entre anotadores enquanto preserva o consenso semântico subjacente.

Significância e Alegações
O artigo alega que as Pré-Anotações geradas pelo modelo podem melhorar substancialmente a eficiência da segmentação temporal densa de vídeo sem sacrificar a validade do rótulo. Os autores argumentam que o fluxo de trabalho transforma com sucesso a anotação em uma tarefa de verificação e edição, reduzindo a carga cognitiva e o esforço manual. Crucialmente, eles demonstram que esses ganhos de eficiência não são alcançados forçando os anotadores a aceitar cegamente as saídas do modelo; em vez disso, o sistema fornece um arcabouço estrutural que ajuda os anotadores a convergir para limites temporais mais claros. O trabalho fornece uma metodologia validada para estudar dinâmicas de interação humano-IA e oferece uma base prática para escalar a criação de conjuntos de dados de vídeo complexos e densamente rotulados, desde que as considerações éticas relativas ao bem-estar e agência do anotador sejam mantidas.