기술 요약: SceneGraphVLM

문제 정의

Scene Graph Generation(SGG) 은 시각적 장면을 노드가 객체를 나타내고 간선이 관계를 인코딩하는 컴팩트하고 구조화된 그래프로 표현하는 것을 목표로 합니다. 로봇 공학 및 비디오 분석과 같은 하류 작업에 필수적이지만, 정확하고 구조적으로 유효하며 컴팩트한 장면 그래프를 생성하는 것은 여전히 어렵습니다. 전통적인 다단계 파이프라인은 오류 전파와 취약성의 고통을 겪습니다. 최근 비전 - 언어 모델 (VLM) 접근법은 엔드투엔드 생성을 제공하지만, 종종 관련 없는 객체와 환각된 관계를 포함하는 길고 토큰 비효율적인 출력을 생성합니다. 또한 기존 VLM 기반 방법들은 종종 재현율 (recall) 을 우선시하여 유용한 정보를 희석시키고 의사 결정의 신뢰성을 떨어뜨리는 과도하게 완전한 그래프를 초래합니다. 이러한 과제를 비디오로 확장할 때, 복잡한 추적이나 후처리 없이 시간적 일관성을 유지하는 것은 여전히 해결되지 않은 문제입니다.

방법론

저자들은 작은 시각 - 언어 모델을 사용한 이미지 및 비디오 장면 그래프 생성을 위한 컴팩트한 엔드투엔드 방법인 SceneGraphVLM을 제안합니다. 이 방법론은 세 가지 핵심 기둥에 기반합니다:

1. 토큰 효율적 직렬화 (TOON 형식)

표준 JSON 표현의 높은 디코딩 비용과 길이를 해결하기 위해, 저자들은 장면 그래프를 TOON 형식으로 직렬화합니다. 이 스키마는 공유 헤더 하에 객체를 행으로 저장하고 관계를 컴팩트한 블록에 저장하여 반복되는 키와 중첩된 보일러플레이트를 제거합니다. 이는 PSG, PVSG, Action Genome 데이터셋 전반에 걸쳐 주석 길이를 약 1.17 배에서 1.24 배 줄이면서도 모든 객체, 바운딩 박스, 관계 정보를 보존하여 생성 속도를 가속화하고 지연 시간을 줄입니다.

2. 2 단계 학습 파이프라인

모델은 2 단계 최적화 과정을 거칩니다:

• 지도 미세 조정 (SFT): 기본 VLM(구체적으로 Qwen3.5-0.8B) 이 시각적 입력을 목표 TOON 스키마에 매핑하도록 학습됩니다. 이 단계는 모델이 필요한 형식을 따르고, 데이터셋별 어휘를 사용하며, 파싱 가능한 구조화된 출력을 생성하도록 가르칩니다.
• GRPO 를 활용한 강화 학습 (RL): 토큰 수준 감독을 넘어 그래프 수준의 품질을 최적화하기 위해, 저자들은 Group Relative Policy Optimization(GRPO) 을 사용합니다. 핵심적으로, 그들은 관계 커버리지와 정밀도를 균형 있게 조정하는 환각 인식 보상을 도입합니다. 전체 보상 함수 ($R_{total}$) 는 다음을 결합합니다:
  • 기본 그래프 보상: 형식 유효성, 객체 분류, 그리고 Hungarian 매칭 및 IoU 를 통한 객체 위치 추정.
  • 관계 균형 보상: 재현율을 극대화하기 위해 모델이 관계를 과도하게 생성하는 것을 방지하기 위한 정밀도 및 F1 기반 항.
  • 환각 패널티: 일치하지 않는 (지원되지 않는) 객체와 관계에 대한 명시적 패널티로, 근거 없는 개체 생성을 억제합니다.

3. 시간적 맥락을 활용한 비디오 추론

비디오 시퀀스의 경우, SceneGraphVLM 은 프레임을 순차적으로 처리합니다. 이전 프레임에 생성된 그래프에 기반하여 현재 프레임의 그래프 생성을 조건부로 수행할 수 있습니다. 이는 별도의 추적 모듈을 필요로 하지 않는 경량의 단기 시간적 맥락을 제공합니다. 저자들은 두 가지 프로토콜을 평가합니다:

• GT-prompt: ground-truth 이전 그래프를 사용하는 오라클 설정.
• Generated-prompt: 모델의 자체 이전 예측을 사용하는 현실적 배포 설정으로, 오류 전파에 대한 견고성을 테스트합니다.

주요 기여

1. SceneGraphVLM 아키텍처: 작은 VLM(예: Qwen3.5-0.8B) 과 토큰 효율적인 TOON 표현을 활용하는 컴팩트한 엔드투엔드 방법으로, 강력한 품질 - 속도 트레이드오프를 달성합니다.
2. 환각 인식 학습: 지원되지 않는 객체와 관계를 명시적으로 패널티화하는 그래프 지향 보상을 갖춘 GRPO 기반 학습을 도입하여 재현율과 정밀도를 균형 있게 조정하고, 근거가 있으며 컴팩트한 그래프를 생성합니다.
3. 효율적인 비디오 SGG: 복잡한 후처리 없이 이전 프레임 그래프를 시간적 맥락으로 활용하여 비디오 장면 그래프 생성을 위한 경량 접근법으로, 근실시간 추론을 달성합니다.

실험 결과

이 방법은 PSG(Panoptic Scene Graph), PVSG(Panoptic Video Scene Graph), 그리고 Action Genome에서 평가되었습니다.

• 기선 대비 성능: PSG 에서 SceneGraphVLM 은 0.442(Strict) 및 0.460(Soft) 의 SGG 점수를 달성하여 제로샷 상업용 VLM(예: 0.318 의 Gemini-3-flash) 과 더 큰 오픈소스 모델들을 능가합니다. 재현율 중심의 기선인 R1-SGG 와 비교하여 정밀도 중심 지표에서 크게 개선되었습니다.
• 비디오 성능: PVSG 에서 모델은 Generated-prompt 설정에서 견고성을 입증했습니다. RL 단계는 SFT 만으로 학습된 체크포인트 대비 Strict SGG 점수를 19% (0.306 에서 0.365 로) 향상시켜 모든 상업용 및 오픈소스 기선을 능가했습니다.
• 효율성: TOON 형식과 vLLM 가속 디코딩을 활용하여 SceneGraphVLM 은 단일 A100 GPU 에서 이미지당 약 0.64 초, 비디오당 1.07 초에 완전한 장면 그래프를 생성합니다.
• Action Genome: 모델은 Precision@50 38.74 및 F1@50 30.75를 달성하여 정밀도 측면에서 OED 기선 (P@50=8.02, F1@50=13.37) 을 크게 능가하여 환각된 관계를 피하는 능력을 입증했습니다.

중요성과 주장

이 논문은 SceneGraphVLM 이 생성형 장면 그래프 생성에 대한 새로운 품질 - 속도 트레이드오프를 확립한다고 주장합니다. 토큰 효율적인 표현과 정밀도 인식 강화 학습을 결합함으로써, 이 방법은 작은 VLM 이 근실시간 응용에 적합한 신뢰할 수 있고 컴팩트하며 시각적으로 근거 있는 장면 그래프를 생성할 수 있게 합니다. 저자들은 그들의 접근법이 훈련 중 지원되지 않는 콘텐츠를 명시적으로 패널티화함으로써 VLM 기반 SGG 의 일반적인 실패 모드인 과도한 생성과 환각을 해결한다고 강조합니다. 외부 추적 없이 이전 생성된 그래프만을 사용하여 비디오에서 시간적 일관성을 유지하는 능력은 로봇 공학 및 비디오 분석의 실제 배포를 향한 중요한 진전으로 부각됩니다.

저자들은 폐쇄형 어휘 데이터셋에 대한 의존성, 비디오 시퀀스에서의 잠재적 오류 누적, 그리고 실시간 추론을 위한 특정 GPU 리소스 필요성과 같은 한계를 지적하지만, 이 방법이 하류 작업에서 VLM 기반 SGG 를 위한 실용적인 기반을 제공한다고 주장합니다.