Resumen Técnico: ProGraD para el Razonamiento Relacional Estructurado en la Detección de Actividades Grupales

1. Definición del Problema

La Detección de Actividades Grupales (GAD) extiende el reconocimiento tradicional de actividades grupales al requerir que los modelos localicen simultáneamente múltiples grupos sociales dentro de una escena, infieran la pertenencia a grupos (quién actúa con quién) y clasifiquen las actividades colectivas. Esta tarea es desafiante debido a las interacciones superpuestas, las oclusiones y la necesidad de inferir dinámicamente las estructuras grupales en lugar de depender de agrupaciones espaciales fijas.

El artículo identifica un cuello de botella crítico en la adaptación de los Modelos Fundacionales de Visión (VFMs) (por ejemplo, DINOv2) a la GAD. Aunque los VFMs ofrecen representaciones de características superiores, sustituirlos ingenuamente en las pipelines existentes de GAD (diseñadas para backbones de CNN) degrada el rendimiento. Por ejemplo, reemplazar un backbone ResNet-18 por un backbone DINOv2 congelado en el marco "Practical GAD" provocó que el Group mAP@1.0 cayera de 10.85 a 9.46. Los autores argumentan que la limitación principal no es la calidad de las características, sino la falta de mecanismos de decodificación estructurados y conscientes del grupo capaces de modelar las relaciones actor-grupo dentro del espacio representacional de los VFMs congelados.

2. Metodología: ProGraD

Los autores proponen ProGraD (Detección de Actividades Grupales basada en Prompts), un marco que adapta los VFMs congelados utilizando Ajuste Fino Eficiente en Parámetros (PEFT) y un decodificador relacional especializado. La arquitectura consta de tres componentes principales:

A. Extracción de Características con Condicionamiento PEFT

• Backbone Congelado: El modelo utiliza un VFM congelado (específicamente DINOv2-Base) para extraer tokens a nivel de parche y tokens de actores (mediante ROI Align).
• Prompts de Grupo Aprendibles: En lugar de un ajuste fino completo o adaptadores pesados, ProGraD inyecta prompts de grupo aprendibles ($G_{prompt}$) en la secuencia de entrada del VFM. Estos prompts actúan como consultas específicas de la tarea que condicionan el backbone congelado para exponer semánticas socialmente relevantes (por ejemplo, actores interactuando, disposiciones espaciales de grupos) sin alterar los pesos del backbone.
• Generación de Tokens: Los tokens de actores se extraen mediante agrupación RoI $1 \times 1$ a partir de los mapas de características condicionados por el prompt, creando una representación compacta que preserva la precisión espacial.

B. Transformer de Contexto de Grupo (GCT)

La innovación central es un Transformer de Contexto de Grupo ligero de dos capas, diseñado para separar explícitamente la formación de grupos de actores de la agregación de contexto global. Opera en dos etapas:

1. Capa de Atención de Agrupación: Esta capa inicializa tokens de grupo aprendibles y realiza atención cruzada contra los tokens de actores. Agrega información de actores potencialmente distantes o separados temporalmente para formar representaciones coherentes de la composición del grupo ($G_{grp}$).
2. Capa de Atención Contextual: Esta capa enriquece tanto los tokens de grupo actualizados como los tokens de actores atendiendo al contexto global de la escena (tokens de parches de imagen). Esto inyecta pistas sobre disposiciones espaciales, objetos de fondo y regiones relevantes para la interacción, permitiendo una detección de actividades más precisa.

C. Cabezas de Predicción

Las incrustaciones enriquecidas de actores ($Act_x$) y grupos ($G_{ctx}$) se pasan a redes feed-forward ligeras para:

• Clasificación de Actividades Grupales: Predecir el comportamiento colectivo.
• Clasificación de Actividades de Actores: Predecir acciones individuales.
• Inferencia de Pertenencia: Proyectar tokens en un espacio compartido para calcular afinidades y asignar actores a grupos (o identificar valores atípicos).

D. Objetivo de Entrenamiento

El modelo se entrena de extremo a extremo utilizando una pérdida multi-tarea que combina:

• Pérdida de clasificación de acciones individuales ($L_{ind}$).
• Pérdida de clasificación de actividades grupales ($L_{group}$).
• Pérdida de predicción de pertenencia actor-grupo ($L_{mem}$) utilizando emparejamiento húngaro.
• Una pérdida de consistencia grupal contrastiva ($L_{con}$) para imponer consistencia entre los actores dentro del mismo grupo.

3. Contribuciones Clave

1. Identificación del Cuello de Botella: El artículo demuestra que simplemente reemplazar backbones de CNN con VFMs congelados en los decodificadores existentes de GAD degrada el rendimiento. Establece que la alineación entre decodificador y representación es el factor clave, no solo la calidad de las características.
2. Transformer de Contexto de Grupo (GCT): Un nuevo decodificador relacional ligero de dos capas que separa explícitamente el razonamiento de las asociaciones actor-grupo de la agregación de contexto global.
3. Marco ProGraD: Un sistema integrado que combina VFMs congelados con un condicionamiento PEFT mínimo (prompts aprendibles) y el GCT. Logra un rendimiento de vanguardia con solo ~10M de parámetros entrenables (menos de la mitad de los métodos anteriores).

4. Resultados Experimentales

Los autores evaluaron ProGraD en dos benchmarks: Café (múltiples grupos sociales concurrentes) y Social-CAD (interacciones dispersas, mayormente singleton).

• Benchmark Café:
  • ProGraD logró un Group mAP@1.0 de 17.03 y un Group mAP@0.5 de 39.11 (configuración Split-by-Place).
  • Esto representa una mejora del 6.2% en mAP@1.0 y una mejora del 8.2% en mAP@0.5 sobre el estado anterior del arte (Practical GAD).
  • El modelo utilizó 10.74M de parámetros entrenables en comparación con 22.77M de Practical GAD.
  • Incluso la configuración "Solo Decodificador" (sin prompts PEFT) superó a los métodos existentes, confirmando la fortaleza de la arquitectura GCT.
• Benchmark Social-CAD:
  • ProGraD logró un 70.00% de Precisión Social y un 88.33% de Precisión de Pertenencia, superando a los métodos anteriores mientras utilizaba menos parámetros.
• Estudios de Ablación:
  • Eliminar cualquiera de las capas de Atención de Agrupación o Atención Contextual resultó en caídas significativas de rendimiento, confirmando sus roles complementarios.
  • Establecer el número de prompts de grupo para igualar la cuenta máxima de grupos del conjunto de datos (7) produjo resultados óptimos, sugiriendo que alinear la cuenta de tokens con la estructura de los datos es una elección de diseño principista.
• Análisis Cualitativo:
  • ProGraD produce mapas de atención más nítidos enfocados en personas y áreas relevantes para la interacción (por ejemplo, mesas), mientras que los backbones de VFMs ingenuos atienden ampliamente a objetos de fondo.
  • El modelo identifica correctamente los valores atípicos en proximidad espacial cercana que no forman parte de un grupo, mientras que los métodos de referencia a menudo los malclasifican basándose únicamente en la proximidad.

5. Significado y Limitaciones

Significado:
El artículo argumenta que el futuro de la GAD reside en el razonamiento relacional estructurado en lugar de simplemente escalar el tamaño del backbone. ProGraD demuestra que los VFMs congelados pueden adaptarse eficazmente para tareas complejas de razonamiento social mediante un condicionamiento mínimo y decodificadores especializados, ofreciendo una ruta eficiente en parámetros hacia un rendimiento de vanguardia. El modelo también proporciona mapas de atención interpretables que ofrecen información sobre el razonamiento actor-grupo, lo cual es valioso para aplicaciones como la evaluación de habilidades y la generación de retroalimentación.

Limitaciones:
Los autores reconocen varias limitaciones:

• Dependencia de la Verdad Terrenal: El marco actual asume que se proporcionan detecciones de actores con verdad terrenal; no realiza detección y agrupación conjuntas.
• Cuenta Fija de Prompts: El número de prompts de grupo ($K$) se fija a la cuenta máxima de grupos del conjunto de datos, limitando la flexibilidad para escenas con tamaños de grupo variables. El trabajo futuro podría explorar la asignación adaptativa de tokens.
• Eficiencia de Inferencia: Aunque es eficiente en parámetros, la inferencia aún requiere un paso hacia adelante completo a través del gran backbone VFM congelado. El trabajo futuro podría explorar la reutilización de características o la selección adaptativa de tokens para mejorar la escalabilidad.
• Modos de Fallo: El modelo lucha en escenarios con oclusión severa o reflejos de espejo, donde las pistas espaciales son ambiguas.