Resumo Técnico: ProGraD para Raciocínio Relacional Estruturado em Detecção de Atividades em Grupo

1. Definição do Problema

Detecção de Atividades em Grupo (GAD) estende o reconhecimento tradicional de atividades em grupo ao exigir que os modelos localizem simultaneamente múltiplos grupos sociais dentro de uma cena, inferam a filiação aos grupos (quem está agindo com quem) e classifiquem atividades coletivas. Esta tarefa é desafiadora devido a interações sobrepostas, oclusões e à necessidade de inferir dinamicamente estruturas de grupo, em vez de depender de agrupamento espacial fixo.

O artigo identifica um gargalo crítico na adaptação de Modelos Fundamentais de Visão (VFMs) (por exemplo, DINOv2) para GAD. Embora os VFMs ofereçam representações de recursos superiores, substituí-los de forma ingênua em pipelines de GAD existentes (que foram projetados para backbones CNN) degrada o desempenho. Por exemplo, substituir um backbone ResNet-18 por um backbone DINOv2 congelado no framework "Practical GAD" fez com que o Group mAP@1.0 caísse de 10,85 para 9,46. Os autores argumentam que a limitação principal não é a qualidade dos recursos, mas a falta de mecanismos de decodificação estruturados e conscientes do grupo capazes de modelar relações ator-grupo dentro do espaço representacional de VFMs congelados.

2. Metodologia: ProGraD

Os autores propõem o ProGraD (Detecção de Atividades em Grupo Baseada em Prompt), um framework que adapta VFMs congelados usando Ajuste Fino Eficiente em Parâmetros (PEFT) e um decodificador relacional especializado. A arquitetura consiste em três componentes principais:

A. Extração de Recursos com Condicionamento PEFT

• Backbone Congelado: O modelo utiliza um VFM congelado (especificamente DINOv2-Base) para extrair tokens de nível de patch e tokens de ator (via ROI Align).
• Prompts de Grupo Aprendíveis: Em vez de ajuste fino completo ou adaptadores pesados, o ProGraD injeta prompts de grupo aprendíveis ($G_{prompt}$) na sequência de entrada do VFM. Esses prompts atuam como consultas específicas da tarefa que condicionam o backbone congelado a expor semânticas socialmente relevantes (por exemplo, atores interagindo, arranjos espaciais de grupo) sem alterar os pesos do backbone.
• Geração de Tokens: Os tokens de ator são extraídos via pooling de RoI $1 \times 1$ a partir dos mapas de recursos condicionados pelo prompt, criando uma representação compacta que preserva a precisão espacial.

B. Transformer de Contexto de Grupo (GCT)

A inovação central é um Transformer de Contexto de Grupo leve de duas camadas, projetado para separar explicitamente a formação de ator-grupo da agregação de contexto global. Ele opera em duas etapas:

1. Camada de Atenção de Agrupamento: Esta camada inicializa tokens de grupo aprendíveis e realiza atenção cruzada contra tokens de ator. Ela agrega informações de atores potencialmente distantes ou separados temporalmente para formar representações coerentes de composição de grupo ($G_{grp}$).
2. Camada de Atenção Contextual: Esta camada enriquece tanto os tokens de grupo atualizados quanto os tokens de ator, atendendo ao contexto global da cena (tokens de patch de imagem). Isso injeta pistas sobre arranjos espaciais, objetos de fundo e regiões relevantes para interação, permitindo uma detecção de atividade mais precisa.

C. Cabeças de Predição

Os embeddings de ator ($Act_x$) e grupo ($G_{ctx}$) enriquecidos são passados para redes feed-forward leves para:

• Classificação de Atividade de Grupo: Prever o comportamento coletivo.
• Classificação de Atividade de Ator: Prever ações individuais.
• Inferência de Filiação: Projetar tokens em um espaço compartilhado para calcular afinidades e atribuir atores a grupos (ou identificar outliers).

D. Objetivo de Treinamento

O modelo é treinado de ponta a ponta usando uma perda multi-tarefa que combina:

• Perda de classificação de ação individual ($L_{ind}$).
• Perda de classificação de atividade de grupo ($L_{group}$).
• Perda de predição de filiação ator-grupo ($L_{mem}$) usando correspondência húngara.
• Uma perda de consistência de grupo contrastiva ($L_{con}$) para impor consistência entre atores dentro do mesmo grupo.

3. Contribuições Principais

1. Identificação do Gargalo: O artigo demonstra que simplesmente substituir backbones CNN por VFMs congelados em decodificadores de GAD existentes degrada o desempenho. Estabelece que o alinhamento decodificador-representação é o fator chave, não apenas a qualidade dos recursos.
2. Transformer de Contexto de Grupo (GCT): Um novo decodificador relacional leve de duas camadas que separa explicitamente o raciocínio de associações ator-grupo da agregação de contexto global.
3. Framework ProGraD: Um sistema integrado que combina VFMs congelados com condicionamento PEFT mínimo (prompts aprendíveis) e o GCT. Ele alcança desempenho state-of-the-art com apenas ~10M de parâmetros treináveis (menos da metade dos métodos anteriores).

4. Resultados Experimentais

Os autores avaliaram o ProGraD em dois benchmarks: Café (múltiplos grupos sociais concorrentes) e Social-CAD (interações esparsas, principalmente singletons).

• Benchmark Café:
  • O ProGraD alcançou um Group mAP@1.0 de 17,03 e um Group mAP@0.5 de 39,11 (configuração Split-by-Place).
  • Isso representa uma melhoria de 6,2% no mAP@1.0 e de 8,2% no mAP@0.5 sobre o anterior state-of-the-art (Practical GAD).
  • O modelo utilizou 10,74M de parâmetros treináveis, comparado a 22,77M do Practical GAD.
  • Mesmo a configuração "Apenas Decodificador" (sem prompts PEFT) superou os métodos existentes, confirmando a força da arquitetura GCT.
• Benchmark Social-CAD:
  • O ProGraD alcançou 70,00% de Precisão Social e 88,33% de Precisão de Filiação, superando métodos anteriores enquanto utilizava menos parâmetros.
• Estudos de Ablação:
  • Remover qualquer uma das camadas de Atenção de Agrupamento ou Contextual resultou em quedas significativas de desempenho, confirmando seus papéis complementares.
  • Definir o número de prompts de grupo para corresponder à contagem máxima de grupos do conjunto de dados (7) produziu resultados ótimos, sugerindo que alinhar a contagem de tokens com a estrutura dos dados é uma escolha de design principista.
• Análise Qualitativa:
  • O ProGraD produz mapas de atenção mais nítidos focados em pessoas e áreas relevantes para interação (por exemplo, mesas), enquanto backbones de VFM ingênuos atendem amplamente a objetos de fundo.
  • O modelo identifica corretamente outliers em proximidade espacial estreita que não fazem parte de um grupo, enquanto métodos de base frequentemente os classificam erroneamente com base apenas na proximidade.

5. Significado e Limitações

Significado:
O artigo argumenta que o futuro da GAD reside no decodificação relacional estruturada e não simplesmente no aumento da escala do tamanho do backbone. O ProGraD prova que VFMs congelados podem ser efetivamente adaptados para tarefas complexas de raciocínio social através de condicionamento mínimo e decodificadores especializados, oferecendo um caminho eficiente em parâmetros para desempenho state-of-the-art. O modelo também fornece mapas de atenção interpretáveis que oferecem insights sobre o raciocínio ator-grupo, o que é valioso para aplicações como avaliação de habilidades e geração de feedback.

Limitações:
Os autores reconhecem várias limitações:

• Dependência de Verdade Terrena: O framework atual assume que detecções de atores de verdade terrena são fornecidas; ele não realiza detecção e agrupamento conjuntos.
• Contagem Fixa de Prompts: O número de prompts de grupo ($K$) é fixado na contagem máxima de grupos do conjunto de dados, limitando a flexibilidade para cenas com tamanhos de grupo variados. Trabalhos futuros poderiam explorar alocação adaptativa de tokens.
• Eficiência de Inferência: Embora eficiente em parâmetros, a inferência ainda requer uma passagem frontal completa através do grande backbone de VFM congelado. Trabalhos futuros podem explorar reutilização de recursos ou seleção adaptativa de tokens para melhorar a escalabilidade.
• Modos de Falha: O modelo luta em cenários com oclusão severa ou reflexos de espelho, onde as pistas espaciais são ambíguas.