기술 요약: 그룹 활동 감지를 위한 구조화된 관계 추론을 위한 ProGraD

1. 문제 정의

**그룹 활동 감지 (GAD)**는 전통적인 그룹 활동 인식에서 한 걸음 더 나아가, 모델이 장면 내에서 여러 사회적 그룹을 동시에 국소화하고, 그룹 구성원 관계 (누가 누구와 함께 행동하는지) 를 추론하며, 집단 활동을 분류해야 함을 요구합니다. 이 작업은 중첩된 상호작용, 가림 현상, 그리고 고정된 공간 클러스터링에 의존하기보다는 그룹 구조를 동적으로 추론해야 하는 필요성으로 인해 어렵습니다.

이 논문은 비전 기초 모델 (VFMs)(예: DINOv2) 을 GAD 에 적용할 때 발생하는 치명적인 병목 현상을 식별합니다. VFMs 는 우수한 특징 표현을 제공하지만, 기존 GAD 파이프라인 (CNN 백본을 위해 설계됨) 에 단순히 대입하면 성능이 저하됩니다. 예를 들어, "Practical GAD" 프레임워크에서 ResNet-18 백본을 고정된 DINOv2 백본으로 교체한 결과, Group mAP@1.0 이 10.85 에서 9.46 으로 하락했습니다. 저자들은 주요 한계가 특징의 질이 아니라, 고정된 VFMs 의 표현 공간 내에서 행위자 - 그룹 관계를 모델링할 수 있는 구조화된 그룹 인지 해독 메커니즘의 부재라고 주장합니다.

2. 방법론: ProGraD

저자들은 ProGraD(프롬프트 기반 그룹 활동 감지) 를 제안합니다. 이는 **파라미터 효율적 미세 조정 (PEFT)**과 전문화된 관계 해독기를 사용하여 고정된 VFMs 를 적응시키는 프레임워크입니다. 아키텍처는 세 가지 주요 구성 요소로 이루어집니다:

A. PEFT 조건부 특징 추출

• 고정된 백본: 모델은 패치 수준의 토큰과 행위자 토큰 (ROI Align 을 통해) 을 추출하기 위해 고정된 VFM(구체적으로 DINOv2-Base) 을 활용합니다.
• 학습 가능한 그룹 프롬프트: 전체 미세 조정이나 무거운 어댑터 대신, ProGraD 는 학습 가능한 그룹 프롬프트($G_{prompt}$) 를 VFM 입력 시퀀스에 주입합니다. 이러한 프롬프트는 백본 가중치를 변경하지 않고도 고정된 백본이 사회적 관련 의미 (예: 상호작용하는 행위자, 그룹의 공간적 배치) 를 드러내도록 조건을 부여하는 작업별 쿼리로 작용합니다.
• 토큰 생성: 행위자 토큰은 프롬프트 조건부 특징 맵에서 $1 \times 1$ RoI 풀링을 통해 추출되어 공간 정밀도를 유지하는 컴팩트한 표현을 생성합니다.

B. GroupContext Transformer (GCT)

핵심 혁신은 행위자 - 그룹 형성과 글로벌 컨텍스트 집적을 명시적으로 분리하도록 설계된 경량 2 층 GroupContext Transformer입니다. 이는 두 단계로 작동합니다:

1. 그룹화 어텐션 레이어: 이 레이어는 학습 가능한 그룹 토큰을 초기화하고 행위자 토큰에 대해 교차 어텐션을 수행합니다. 이를 통해 잠재적으로 멀리 있거나 시간적으로 분리된 행위자들로부터 정보를 집계하여 일관된 그룹 구성 표현 ($G_{grp}$) 을 형성합니다.
2. 컨텍스트 어텐션 레이어: 이 레이어는 글로벌 장면 컨텍스트 (이미지 패치 토큰) 에 어텐션함으로써 업데이트된 그룹 토큰과 행위자 토큰 모두를 풍부하게 만듭니다. 이는 공간적 배치, 배경 객체, 상호작용 관련 영역에 대한 단서를 주입하여 더 정확한 활동 감지를 가능하게 합니다.

C. 예측 헤드

풍부해진 행위자 ($Act_x$) 및 그룹 ($G_{ctx}$) 임베딩은 다음을 위해 경량 순방향 네트워크로 전달됩니다:

• 그룹 활동 분류: 집단 행동을 예측합니다.
• 행위자 활동 분류: 개별 행동을 예측합니다.
• 구성원 추론: 토큰을 공유 공간으로 투영하여 친밀도를 계산하고 행위자를 그룹에 할당하거나 (또는 이상치를 식별합니다).

D. 훈련 목적 함수

모델은 다음을 결합한 다중 작업 손실 함수를 사용하여 엔드 - 투 - 엔드로 훈련됩니다:

• 개별 행동 분류 손실 ($L_{ind}$).
• 그룹 활동 분류 손실 ($L_{group}$).
• Hungarian 매칭을 사용한 행위자 - 그룹 구성원 예측 손실 ($L_{mem}$).
• 동일한 그룹 내 행위자들 간의 일관성을 강제하는 대비적 그룹 일관성 손실 ($L_{con}$).

3. 주요 기여

1. 병목 현상 식별: 이 논문은 기존 GAD 해독기에서 CNN 백본을 단순히 고정된 VFMs 로 교체하면 성능이 저하된다는 것을 보여줍니다. 특징의 질뿐만 아니라 해독기 - 표현 정렬이 핵심 요소임을 확립합니다.
2. GroupContext Transformer (GCT): 행위자 - 그룹 연관성 추론과 글로벌 컨텍스트 집적을 명시적으로 분리하는 새로운 경량 2 층 관계 해독기입니다.
3. ProGraD 프레임워크: 고정된 VFMs 와 최소한의 PEFT 조건부 (학습 가능한 프롬프트) 및 GCT 를 통합한 시스템입니다. 이는 약 10M 개의 학습 가능한 파라미터(이전 방법의 절반 미만) 만으로 최첨단 성능을 달성합니다.

4. 실험 결과

저자들은 ProGraD 를 두 가지 벤치마크인 Café(여러 동시 사회적 그룹) 와 Social-CAD(희소 상호작용, 대부분 단일체) 에서 평가했습니다.

• Café 벤치마크:
  • ProGraD 는 (Split-by-Place 설정에서) Group mAP@1.0 17.03 및 Group mAP@0.5 39.11을 달성했습니다.
  • 이는 이전 최첨단 (Practical GAD) 대비 mAP@1.0 에서 6.2%, mAP@0.5 에서 **8.2%**의 개선을 의미합니다.
  • 이 모델은 Practical GAD 의 22.77M 에 비해 10.74M개의 학습 가능한 파라미터를 사용했습니다.
  • PEFT 프롬프트가 없는 "Decoder Only" 구성조차 기존 방법들을 능가하여 GCT 아키텍처의 강점을 확인시켰습니다.
• Social-CAD 벤치마크:
  • ProGraD 는 70.00% 사회적 정확도와 88.33% 구성원 정확도를 달성하여, 더 적은 파라미터를 사용하면서도 기존 방법들을 능가했습니다.
• 절대 실험 (Ablation Studies):
  • 그룹화 또는 컨텍스트 어텐션 레이어 중 하나를 제거하면 성능이 크게 저하되어 이들의 보완적 역할을 확인시켰습니다.
  • 그룹 프롬프트 수를 데이터셋의 최대 그룹 수 (7) 에 맞추어 설정한 것이 최적의 결과를 보여주었으며, 토큰 수를 데이터 구조와 정렬하는 것이 원칙적인 설계 선택임을 시사합니다.
• 정성적 분석:
  • ProGraD 는 사람과 상호작용 관련 영역 (예: 테이블) 에 초점을 맞춘 더 선명한 어텐션 맵을 생성하는 반면, 단순한 VFM 백본은 배경 객체에 광범위하게 어텐션합니다.
  • 이 모델은 공간적으로 근접하지만 그룹의 일부가 아닌 이상치를 올바르게 식별하는 반면, 기준선 방법들은 종종 근접성만으로 이를 오분류합니다.

5. 의의 및 한계

의의:
이 논문은 GAD 의 미래가 백본 크기 확장보다는 구조화된 관계 해독에 있음을 주장합니다. ProGraD 는 고정된 VFMs 가 최소한의 조건부 조정과 전문화된 해독기를 통해 복잡한 사회적 추론 작업에 효과적으로 적응될 수 있음을 증명하며, 최첨단 성능을 위한 파라미터 효율적인 경로를 제시합니다. 또한 이 모델은 행위자 - 그룹 추론에 대한 통찰력을 제공하는 해석 가능한 어텐션 맵을 제공하여, 기술 평가 및 피드백 생성과 같은 응용 분야에 가치가 있습니다.

한계:
저자들은 몇 가지 한계를 인정합니다:

• Ground Truth 의존성: 현재 프레임워크는 ground-truth 행위자 검출이 제공된다고 가정하며, 동시 검출 및 그룹화를 수행하지는 않습니다.
• 고정된 프롬프트 수: 그룹 프롬프트 수 ($K$) 는 데이터셋의 최대 그룹 수로 고정되어 있어, 다양한 그룹 크기를 가진 장면에서 유연성이 제한됩니다. 향후 연구는 적응형 토큰 할당을 탐구할 수 있습니다.
• 추론 효율성: 파라미터 효율적이기는 하지만, 추론은 여전히 대형 고정된 VFM 백본을 통한 전체 순전파를 필요로 합니다. 향후 연구는 확장성을 개선하기 위해 특징 재사용 또는 적응형 토큰 선택을 탐구할 수 있습니다.
• 실패 모드: 이 모델은 공간적 단서가 모호한 심각한 가림 현상이나 거울 반사가 있는 시나리오에서 어려움을 겪습니다.