Resumo Técnico: Rumo a uma Avaliação Robusta do Reconhecimento de Atividades Visuais

Declaração do Problema

Avaliar sistemas de reconhecimento de atividades visuais é fundamentalmente desafiado pelas ambiguidades inerentes à semântica dos verbos e à interpretação de imagens. A avaliação padrão baseia-se em métricas de correspondência exata (exact-match), onde a previsão de um modelo é considerada correta apenas se corresponder a um único rótulo de verbo "ouro". Essa abordagem falha em considerar duas fontes primárias de ambiguidade:

1. Sinonímia: Múltiplos verbos sinônimos (ex: ensinar vs. lecionar) podem descrever o mesmo evento.
2. Multi-perspectivas: Uma única imagem pode ser validamente descrita por verbos distintos que refletem diferentes pontos de vista (ex: marchar vs. performar para uma banda).

Consequentemente, a avaliação de correspondência exata subestima sistematicamente o desempenho do modelo ao penalizar previsões semanticamente válidas, mas lexicalmente distintas. Embora métricas como o CLIPScore existam, elas frequentemente dependem de medidas de similaridade genéricas que falham em capturar distinções de sentido de verbos finos ou mudanças de perspectiva.

Metodologia

Para abordar essas limitações, os autores propõem um framework de agrupamento visão-linguagem que constrói "clusters de sentido de verbos". Este framework agrupa imagens e verbos em clusters coerentes, onde cada cluster representa uma perspectiva ou sentido distinto de uma atividade. A metodologia procede em três estágios:

1. Aquisição de Pares Imagem-Verbo

Para mitigar o viés de rotulagem inerente ao dataset imSitu original (onde as imagens foram recuperadas via buscas no Google baseadas em verbos), os autores consultam dois Modelos de Linguagem de Grande Escala (LLMs) multimodais — GPT-4o mini e Llama-3.2-90B — para gerar todos os verbos apropriados para cada imagem. Eles retêm apenas os verbos presentes no vocabulário do imSitu (504 verbos) e constroem nós representando pares <imagem, verbo>. Esses nós são incorporados (embedded) usando um modelo Llama multimodal (Llama-3.2-11B) processando entradas de texto e imagem simultaneamente, extraindo o estado oculto final após a camada de atenção cruzada (cross-attention).

2. Framework de Agrupamento de Dois Passos

O framework emprega um processo de agrupamento de dois passos para agrupar esses pares <imagem, verbo>:

• Passo 1: Agrupamento de Mesmo Verbo: Para cada um dos 504 verbos, as imagens associadas são agrupadas para desambiguar sentidos finos daquele verbo específico. O número ideal de clusters ($k$) para cada verbo é determinado maximizando o score de Silhueta através de uma gama de $k \in [2, 16]$. Tanto K-Means quanto o Agrupamento Hierárquico Aglomerativo (HAC) são testados.
• Passo 2: Agrupamento de Verbos Cruzados: Os clusters resultantes do Passo 1 são posteriormente agrupados para reunir verbos com significados compartilhados entre diferentes itens lexicais. O número de clusters finais ($k_r$) é determinado por uma razão $r$ aplicada ao total de verbos (504), otimizada via score de Silhueta.

3. Protocolo de Avaliação

Os clusters resultantes servem como o "ground truth" para a avaliação. Uma previsão do modelo é considerada correta se o verbo previsto aparecer em qualquer cluster contendo a imagem alvo. Isso é comparado contra:

• Correspondência Exata (Exact Match): Correspondência padrão com o rótulo ouro.
• Correspondência WordNet-Synset: Verifica se a previsão compartilha um synset com o rótulo ouro.
• Julgamento Humano: Anotação manual de 100 imagens amostradas para avaliar o alinhamento.

Resultados Principais

Qualidade do Agrupamento e Análise de Ambiguidade

• Estrutura de Cluster: A análise revela que, em média, cada imagem mapeia para aproximadamente 4 clusters de sentido, e cada cluster contém cerca de 2 verbos.
• Quantificação de Ambiguidade:
  • Sinonímia: ~54% dos verbos abrangem múltiplos clusters (polissemia), e os clusters contêm uma média de 1,59–1,97 verbos, confirmando a prevalência de sinônimos.
  • Multi-perspectivas: Mais de 70% das imagens pertencem a mais de um cluster, indicando que uma única imagem frequentemente suporta múltiplas perspectivas descritivas válidas.
• Desempenho da Métrica: O agrupamento K-Means usando embeddings do Llama-3.2-90B apresentou o melhor equilíbrio entre coesão interna (Silhueta, Calinski-Harabasz) e validade externa (pureza WordNet).

Melhorias na Avaliação de Modelos

A avaliação de vários modelos supervisionados (ResNet-50, CLIP, Llama-11B) e LLMs zero-shot (GPT-4o mini, Llama-3.2-90B) revelou ganhos de desempenho significativos sob a métrica baseada em clusters:

• Ganhos de Acurácia: Todos os modelos mostraram melhorias substanciais na acurácia Top-1. Por exemplo, o modelo supervisionado Llama-11B melhorou de 56,0% (Correspondência Exata) para 72,1% (Baseado em Cluster). LLMs zero-shot mostraram ganhos relativos ainda maiores (ex: o GPT-4o mini de prompt fechado melhorou de 17,3% para 39,2%).
• Fonte de Melhoria: A análise de decomposição indica que a compreensão de multi-perspectiva responde pela maior parte do ganho (melhoria de 8–27%), enquanto a resolução de sinonímia contribui com uma parte menor, porém significativa (3–6%).
• Alinhamento Humano: A avaliação baseada em clusters demonstrou o maior acordo com julgamentos humanos, superando tanto a correspondência exata quanto as linhas de base de VLM-como-juiz em termos de Kendall's $\tau$ (acordo de ranking) e Krippendorff's $\alpha$ (acordo de rótulo). Diferente do VLM-como-juiz, que mostrou alta instabilidade entre variações de prompt, o método baseado em clusters forneceu um alinhamento consistente e robusto.

Limitações de Métricas Alternativas

O artigo demonstra que o CLIPScore é inadequado para avaliação centrada em verbos. Mesmo usando legendas completas, o CLIPScore é dominado por palavras contextuais, tornando as mudanças no verbo negligenciáveis. O CLIPScore de apenas verbos alcançou apenas ~25% de acurácia Top-1, falhando em recuperar de forma confiável os rótulos validados por humanos.

Significância e Contribuições

O artigo reivindica três contribuições primárias:

1. Framework Inovador: A proposta de um framework de agrupamento visão-linguagem que constrói grupos de sentido baseados em imagens e verbos de atividade, validados por métricas internas e externas.
2. Avaliação Superior: Demonstração de que a avaliação baseada em clusters oferece uma avaliação mais precisa e matizada de sistemas de reconhecimento de atividade visual em comparação com a acurácia tradicional de correspondência exata, refletindo melhor as reais capacidades semânticas dos modelos.
3. Quantificação de Ambiguidade: Uma análise quantitativa do dataset imSitu revelando a extensão da sinonímia e da ambiguidade de multi-perspectiva, mostrando que as métricas de avaliação padrão falham em capturar essas complexidades inerentes.

Os autores concluem que, embora seus experimentos foquem no imSitu, o framework é desenhado para ser adaptável a outros datasets de atividade visual. Eles reconhecem limitações, incluindo a dependência de verbos gerados por LLM em vez de anotação humana exaustiva, e o custo computacional do processo de agrupamento offline, mas argumentam que o conjunto fixo de alvos resultante amortiza esse custo para avaliações futuras.