A Baseline Study and Benchmark for Few-Shot Open-Set Action Recognition with Feature Residual Discrimination

Este artigo apresenta um novo estado da arte para o reconhecimento de ações em cenários abertos com poucos exemplos (FSOS-AR), propondo uma arquitetura baseada em um Discriminador de Resíduo de Características (FR-Disc) que melhora significativamente a rejeição de classes desconhecidas em dados de vídeo sem comprometer a precisão em cenários fechados.

O essencial

Imagine que você está treinando um assistente de IA para reconhecer ações humanas em vídeos, como "pular corda", "dançar samba" ou "abrir uma porta".

O problema é que, no mundo real, esse assistente vai encontrar situações que ele nunca viu antes. Se ele não souber dizer "eu não sei o que é isso" e tentar adivinhar, ele pode cometer erros graves (como achar que alguém está "dançando" quando na verdade está apenas "caminhando").

Este artigo é como um manual de sobrevivência para ensinar esses assistentes a lidar com o desconhecido, especialmente quando temos muito poucos exemplos para treinar (o chamado "Few-Shot" ou "Poucas Amostras").

Aqui está a explicação simplificada, passo a passo:

1. O Problema: O Assistente "Teimoso"

Normalmente, os assistentes de IA são treinados como se o mundo fosse um clube fechado. Se você mostrar 100 vídeos de "pular corda" e 100 de "dançar", o assistente aprende a diferenciar apenas essas duas coisas.

• O Cenário Real: Você mostra um vídeo de alguém "cozinhando". O assistente, não tendo essa opção no seu "cardápio", vai forçar uma resposta e dizer: "Ah, isso é 'pular corda'!" (porque é a coisa mais parecida que ele conhece).
• O Erro: Isso é perigoso. O ideal é que ele diga: "Não sei o que é isso, não é nem uma coisa nem outra".

2. A Solução Proposta: O "Detetive de Resíduos" (FR-Disc)

Os autores testaram várias formas de consertar isso. Eles compararam métodos simples (como olhar apenas a "confiança" da resposta) com um método novo e mais inteligente que chamam de FR-Disc (Discriminador de Resíduo de Características).

Vamos usar uma analogia de Detetive e Suspeito:

• O Método Antigo (Softmax/MLS): É como um policial que olha para o suspeito e diz: "Você parece 80% com o suspeito A e 20% com o B. Como 80% é alto, eu vou prender você como o A." O problema é que 80% pode ser apenas uma coincidência, e o policial não percebe que o suspeito não se encaixa em nenhum dos perfis.
• O Método Novo (FR-Disc): É como um detetive experiente que não olha apenas a semelhança, mas sim a diferença.
  1. Ele pega o vídeo novo (o suspeito).
  2. Ele compara com o melhor exemplo que ele tem de "pular corda" (o perfil conhecido).
  3. Ele calcula o "Resíduo": a diferença entre o vídeo novo e o perfil.
  4. Se a diferença for pequena, ele aceita. Se a diferença for grande (o "resíduo" for alto), o detetive sabe que, mesmo que pareça um pouco com "pular corda", há algo fundamentalmente errado. Ele então diz: "Isso não é 'pular corda', é algo desconhecido".

3. O Que Eles Fizeram (O "Laboratório")

Para provar que o novo método funciona, eles criaram um Banco de Provas (Benchmark).

• Pegaram 5 bases de dados famosas de vídeos (como HMDB51 e UCF101).
• Transformaram esses bancos de dados em cenários de "clube fechado" vs. "mundo aberto".
• Testaram dois tipos de assistentes (chamados SAFSAR e STRM) com várias técnicas.

4. Os Resultados: O Que Descobriram?

• Métodos Simples: Tentar apenas ajustar a "confiança" da resposta (como o método EOS) ajuda um pouco, mas é como colocar um adesivo em um carro furado: resolve um pouco, mas não é a solução definitiva.
• O Método "Lixo" (Garbage Class): Tentar ensinar a IA a ter uma categoria chamada "Lixo" ou "Desconhecido" funcionou mal. A IA começou a decorar os vídeos de treino em vez de aprender o conceito de "desconhecido". Foi como tentar ensinar um aluno a não errar a prova apenas dizendo "se não souber, marque X", e ele acabou marcando X em tudo.
• O Vencedor (FR-Disc): O método do "Detetive de Resíduos" foi o campeão.
  • Ele conseguiu rejeitar os vídeos estranhos (o desconhecido) muito melhor.
  • O Grande Truque: Ele fez isso sem piorar a capacidade do assistente de reconhecer as coisas que ele já conhecia. Ou seja, o assistente ficou mais esperto para o novo sem esquecer o velho.

5. Conclusão em Uma Frase

Este trabalho mostra que, para ensinar uma IA a reconhecer ações em vídeos com poucos exemplos e sem se enganar com coisas novas, não basta apenas olhar para a resposta final; é preciso analisar a diferença entre o que foi visto e o que a IA conhece. O método FR-Disc é a melhor ferramenta encontrada até agora para fazer esse trabalho de "filtragem" inteligente.

Em resumo: Eles ensinaram a IA a dizer "não sei" com mais confiança, usando um sistema que compara o novo com o velho e mede o quanto eles são diferentes, em vez de apenas chutar a resposta mais provável.

Resumo técnico

Título: Um Estudo de Linha de Base e Benchmark para Reconhecimento de Ações com Poucos Exemplos em Cenário Aberto com Discriminação de Resíduo de Características

1. Problema e Motivação

O Reconhecimento de Ações com Poucos Exemplos (FS-AR) tem mostrado resultados promissores, permitindo que modelos generalizem para novas classes com poucos exemplos rotulados. No entanto, a maioria das abordagens atuais opera sob a suposição de conjunto fechado (closed-set), assumindo que todas as classes de teste pertencem ao conjunto de treinamento. Isso falha em cenários do mundo real (conjunto aberto), onde o modelo deve ser capaz de rejeitar amostras de teste desconhecidas para evitar falsos positivos.

Embora o reconhecimento de conjunto aberto com poucos exemplos (FSOS) seja bem estabelecido para imagens, sua extensão para dados de vídeo espaciotemporais permanece pouco explorada. A única abordagem existente anterior limitava-se a dados esqueléticos. Este trabalho visa preencher essa lacuna, investigando como técnicas de reconhecimento aberto podem ser adaptadas para modelos de vídeo complexos sem comprometer a precisão no conjunto fechado.

2. Metodologia

2.1. Definição do Problema e Métricas

O trabalho define o problema de FSOS-AR como uma tarefa onde o modelo deve:

1. Classificar amostras conhecidas corretamente.
2. Rejeitar amostras desconhecidas (definidas como pertencentes a classes não presentes no conjunto de suporte).

As métricas de avaliação incluem:

• Métricas de Conjunto Fechado: Precisão com poucos exemplos (FS ACC).
• Métricas de Conjunto Aberto: Precisão de Conjunto Aberto (OS ACC), AUROC e AUPR.
• Métricas Conjuntas: Taxa de Classificação de Conjunto Aberto (OSCR), que mede o compromisso entre detecção de desconhecidos e precisão de conhecidos.

2.2. Modelos de Base (Baselines)

Os autores utilizam dois modelos representativos de FS-AR:

• STRM: Um modelo baseado em transformadores 2D que agrega características em nível de patch e quadro.
• SAFSAR: Um modelo baseado em 3D (VideoMAE) que utiliza priores semânticos baseados em texto, oferecendo alto desempenho com custo computacional maior.

2.3. Técnicas de Conjunto Aberto Investigadas

O estudo compara várias técnicas adaptadas da visão computacional em imagens para o domínio de vídeo:

1. Linha de Base Softmax (Implícita): Uso de Maximum Logit Score (MLS) ou Maximum Softmax Score (MSS) como pontuação de confiança.
2. Entropic Open-Set (EOS - Implícita): Adição de um termo de perda de entropia para forçar previsões de tarefas desconhecidas a uma distribuição uniforme.
3. Classe Lixo (Garbage Class - GC - Explícita): Adição de uma classe "lixo" aprendível ao conjunto de suporte para capturar amostras desconhecidas.
4. Discriminador de Resíduo de Características (FR-Disc - Explícita): Uma extensão da abordagem anterior (limitada a dados esqueléticos) para dados de vídeo.
   • Mecanismo: Calcula o "resíduo" (diferença) entre as características do vídeo de consulta e as características da classe de suporte mais próxima.
   • Discriminador: Uma rede auxiliar leve (MLP) é treinada para distinguir entre consultas conhecidas (resíduo baixo) e desconhecidas (resíduo alto), utilizando uma função de perda de Entropia Cruzada Binária (BCE).

3. Contribuições Principais

1. Primeiro Benchmark Abrangente de FSOS-AR: Adaptação de cinco conjuntos de dados de vídeo de ponta (HMDB51, UCF101, SSv2, NTURGBD, Diving48) para condições de conjunto aberto, estabelecendo a primeira linha de base comparativa.
2. Validação de Técnicas de Imagem em Vídeo: Demonstração de que modelos de FS-AR podem ser equipados com técnicas de reconhecimento aberto sem degradar a precisão no conjunto fechado, estendendo descobertas do domínio de imagens para o vídeo.
3. Proposta do FR-Disc para Vídeo: Introdução de uma arquitetura especializada que modela discrepâncias entre características de consulta e protótipos de classe. O trabalho prova que essa abordagem é superior a métricas baseadas em logits (como MLS/MSS) para capturar dinâmicas temporais complexas.

4. Resultados Experimentais

Os experimentos foram realizados em configurações de 1-shot e 5-shot (5 classes) em todos os cinco datasets.

• Desempenho da Linha de Base (Softmax):

  • Observou-se uma forte correlação linear entre o desempenho no conjunto fechado e a robustez no conjunto aberto (coeficientes de Pearson de 0,84 a 0,99). Modelos com melhor precisão fechada tendem a rejeitar melhor os desconhecidos.
  • O uso de MLS (sem normalização Softmax) superou consistentemente o MSS, pois preserva a magnitude dos logits, crucial para estimativa de incerteza.

• Técnicas Implícitas (EOS e GC):

  • EOS: Oferece um bom compromisso entre simplicidade e eficácia, melhorando métricas de conjunto aberto com um custo mínimo na precisão fechada, especialmente em modelos menos potentes como o STRM.
  • GC (Classe Lixo): Mostrou comportamento instável. Funcionou bem em datasets complexos (SSv2, Diving48), mas degradou severamente o desempenho em datasets com viés espacial forte (HMDB51, UCF101) e no STRM, devido a problemas de sobreajuste e dificuldade em aprender um protótipo generalizável para "desconhecido".

• Discriminador de Resíduo de Características (FR-Disc):

  • Estado da Arte (SOTA): O FR-Disc superou consistentemente todas as outras técnicas em todos os datasets, tanto em métricas de conjunto fechado quanto aberto.
  • Ganhos: No modelo SAFSAR, aumentou a precisão de 5-shot em até 5,49% e melhorou significativamente a OSCR (Taxa de Classificação de Conjunto Aberto).
  • Análise Qualitativa: Visualizações t-SNE mostraram que o FR-Disc produz clusters de características mais compactos e uma separação interclasse melhorada. Além disso, os histogramas de pontuação revelaram que o FR-Disc elimina o pico de "falsa confiança" (over-confidence) em amostras desconhecidas, distribuindo as pontuações de forma a permitir uma rejeição clara.

5. Significado e Conclusão

Este trabalho estabelece o FSOS-AR como uma direção de pesquisa essencial para conectar experimentos controlados com sistemas de reconhecimento de ações do mundo real.

• Conclusão Chave: A simples adaptação de modelos fechados com técnicas de imagem (como EOS) é viável, mas o FR-Disc representa o avanço mais significativo, demonstrando que a discriminação baseada em resíduos de características é superior para lidar com a complexidade temporal do vídeo.
• Impacto: O estudo fornece uma avaliação robusta de abordagens variadas, identificando que a modelagem explícita da diferença entre a consulta e o protótipo mais próximo é fundamental para a rejeição eficaz de ações desconhecidas em cenários de poucos exemplos.

O código, o benchmark e o site do projeto estão disponíveis publicamente para fomentar pesquisas futuras na área.