💻 computer science

A Closer Look at Dynamic Scene Graph Generation In the Era of Multimodal Large Language Models

이 논문은 다섯 가지 새로운 지표를 갖춘 종합적인 평가 프레임워크를 도입하고, 최첨단 성능을 달나기 위해 top-down 방식의 reason-then-locate 전략, Temporal Relation Set 예측, 그리고 중요도 인지 미세 조정(Importance-Aware Finetuning)을 채택한 강력한 MLLM 기반 베이스라인을 제안함으로써 기존 동적 장면 그래프 생성(Dynamic Scene Graph Generation)의 한계를 다룹니다.

원저자: Xuanming Cui, Jaiminkumar Ashokbhai Bhoi, Chionh Wei Peng, Adriel Kuek, Ser Nam Lim

게시일 2026-07-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xuanming Cui, Jaiminkumar Ashokbhai Bhoi, Chionh Wei Peng, Adriel Kuek, Ser Nam Lim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 영화를 보고 있다고 상상해 보세요. 하지만 단순히 액션을 보는 것을 넘어, 로봇이 "왜 캐릭터가 달렸는가?" 또는 "사람이 무엇을 들고 있는가?"와 같은 질문에 답할 수 있도록 스토리를 이해하기를 원합니다. 이를 위해 컴퓨터는 비디오를 구조화된 사실의 목록으로 분해하는 방법이 필요합니다. 즉, 누가 누구에게 무엇을 하고 있는지, 그리고 시간이 흐름에 따라 그것이 어떻게 변하는지를 파악해야 합니다. 이것을 **동적 장면 그래프 생성(Dynamic Scene Graph Generation)**이라고 부릅니다. 이것은 마치 컴퓨터가 비디오의 매 초마다 "사람"과 "개"가 존재한다는 것뿐만 아니라, "사람이 개를 산책시키고 있다"거나 나중에 "개가 잠을 자고 있다"는 식의 '출연진 및 제작진' 명단을 작성하는 것과 같습니다.

오랫동안 컴퓨터는 이 작업을 더 잘 수행하기 위해 발전해 왔지만, 정확성과 유용성을 동시에 갖추는 데 어려움을 겪어 왔습니다. 컴퓨터는 수백 개의 사실을 나열할 수는 있지만, 많은 내용이 지루하거나 틀릴 수 있습니다. 예를 들어, 실제 이야기는 사람이 식사를 요리하는 것에 관한 것인데도 "바닥이 사람 아래에 있다"라고 말하는 식입니다. 한편, **멀티모달 거대 언어 모델(Multimodal Large Language Models, MLLMs)**이라 불리는 새로운 세대의 초지능형 AI 모델들이 등장했습니다. 이들은 이미지를 보고 시를 쓰거나, 비디오를 보고 줄거리를 설명할 수 있는 AI 시스템입니다. 이들은 '전체적인 그림'과 스토리를 이해하는 데 매우 뛰어납니다. 하지만 지금까지는 이들을 사용하여 비디오에 대한 구체적이고 구조화된 사실 목록을 만드는 방법은 아무도 알아내지 못했습니다. 이 논문은 다음과 같은 질문을 던집니다. "우리는 이 스토리텔링 AI 거인들을 사용하여 더 나은 비디오 사실 목록을 구축할 수 있는가? 만약 그렇다면, 어떻게 하면 그들이 그저 지루하고 중복된 사실만을 나열하는 것을 막을 수 있을 것인가?"

이 논문의 저자들은 기존의 방식이 고장 났다고 말합니다. 그들은 이전의 방법들이 마치 가능한 많은 문장을 써서 점수를 잘 받으려는 학생과 같다고 주장합니다. 설령 대부분이 헛소리일지라도 일단 많이 써서 맞기를 바라는 식입니다. 이는 컴퓨터가 많은 사실을 '회상'은 하지만, 정작 제대로 된 사실은 거의 맞히지 못하는 혼란을 야رم합니다. 이를 해결하기 위해 연구자들은 낡고 투박한 규칙을 사용하는 대신, 새롭고 강력한 MLLM을 직접 사용하는 방도로 전환했습니다.

첫째, 그들은 성공을 측정하는 새로운 방법들을 도입함으로써 판도를 바꿨습니다. 단순히 AI가 얼마나 많은 사실을 맞혔는지 세는 대신(이는 무작위로 추측하여 속일 수 있습니다), "이 사실들이 실제로 유용한가?"를 묻는 테스트를 추가했습니다. 그들은 사실이 말이 되는지 확인하는 '판사' AI를 만들었고, 생성된 사실을 바탕으로 질문에 답해야 하는 테스트, 그리고 그 사실들이 데이터베이스에서 올바른 비디오를 찾는 데 도움이 되는지 확인하는 테스트를 만들었습니다. 그들은 기존 방법들이 많은 것을 추측하는 데는 능숙하지만, 정작 '중요한 것'을 추측하는 데는 형편없다는 것을 발견했습니다.

다음으로, 그들은 AI가 작동하는 방식을 재설계했습니다. 기존 방식은 "상향식(bottom-up)"이었습니다. 컴퓨터가 먼저 모든 객체(사람, 컵, 테이블 등)를 찾은 다음, 그것들이 어떻게 연관되어 있는지 추측하는 방식입니다. 저자들은 이것이 농담을 이해하기 위해 먼저 문장의 모든 단어를 나열하려는 것과 같다고 말합니다. 대신, 그들은 "하향식(top-down)" 접근 방식을 사용했습니다. 그들은 MLLM이 비디오를 보고 스토리와 주요 동작을 먼저 파악하게 한 다음(이것이 '추론'입니다), 그 일들이 정확히 어디에서 일어나고 있는지 지목하게 했습니다(이것이 '위치 파악'입니다). 이는 인간이 영화를 보는 방식과 훨씬 더 유사합니다. 우리는 먼저 줄거리를 이해한 다음 세부 사항을 인지합니다.

또한, 그들은 주요한 효율성 문제를 해결했습니다. 기존 방식은 10초 동안 아무 변화가 없더라도 비디오의 모든 프레임마다 사람과 컵의 관계를 설명했습니다. 이는 마치 "사람이 컵을 잡고 있다"라는 문장을 1,000번 연속으로 쓰는 것과 같았습니다. 저자들은 이를 "시간적 관계 집합(Temporal Relation Set)"으로 변경했는데, 이는 "사람이 5초부터 15초까지 컵을 잡고 있었다"라고 말하는 것과 같습니다. 이를 통해 엄청난 시간을 절약했고 AI를 훨씬 더 빠르게 만들었습니다.

마지막으로, 그들은 AI가 중요한 것에 집중하도록 가르쳤습니다. 그들은 "중요도 인지 미세 조정(Importance-Aware Finetuning)"이라는 특별한 훈련 방법을 사용했습니다. 이는 마치 학생에게 "네가 아는 모든 사실을 다 적지 말고, 가장 흥미로운 것부터 적어라"라고 말하는 것과 같습니다. 이를 통해 AI가 "바닥이 사람 아래에 있다"와 같은 지루하고 반복적인 사실들로 목록을 채우는 것을 막고, "사람이 커피를 따르고 있다"와 같은 멋진 내용에 집중하도록 강제했습니다.

결과는 인상적이었습니다. 그들이 세 가지 비디오 데이터셋에 대해 새로운 방법을 테스트했을 때, 이 방식은 단순히 사실을 더 많이 찾아내는 것을 넘어, '올바른' 사실을 더 잘 찾아냈습니다. 이 방식은 이전의 최고 방법들보다 훨씬 더 정확하고 훨씬 더 빨랐습니다. 새로운 접근 방식은 더 정밀할 뿐만 아니라, 비디오에 대한 질문에 답하거나 영상 라이브러리에서 특정 순간을 찾는 것과 같은 실제 작업에 훨씬 더 유용한 장면 그래프를 생성했습니다. 이 논문은 강력한 언어 모델이 주도하게 함으로써, 우리가 마침내 쓸모없는 세부 사항의 바다에 빠지지 않고도 인간처럼 비디오 스토리를 이해하도록 컴퓨터를 만들 수 있음을 시사합니다.

기술 요약: 멀티모달 거대 언어 모델 시대의 동적 장면 그래프 생성에 대한 심층 고찰

1. 문제 정의 및 동기

동적 장면 그래프 생성(Dynamic Scene Graph Generation, DSGG)은 비디오 시퀀스 내에서 객체와 그들의 진화하는 관계를 포착하여, 시각적 콘텐츠를 구조화된 그래프의 시퀀스로 표현하는 것을 목표로 합니다. 이 분야는 꾸준한 발전을 이루어 왔으나, 저자들은 멀티모달 거대 언어 모델(Multimodal Large Language Models, MLLMs)의 급격한 발전과 비교했을 때 생성된 장면 그래프의 실질적인 품질과 유용성이 여전히 제한적이라고 주장합니다.

본 논문은 DSGG의 발전을 저해하는 두 가지 근본적인 문제를 식별합니다:

태스크 설정의 한계: 현재의 평가 프로토콜은 거의 전적으로 재현율(recall) 기반 지표에 의존합니다. 이는 모델이 수많은 노이즈가 섞였거나 잘못된 관계를 생성함으로써 재현율을 부풀리는 심각한 정밀도-재현율 트레이드오프(precision–recall trade-off)를 야기합니다. 또한, 기존 방법들은 DSGG를 순서가 없는 검색 문제로 취급하여 관계의 상대적 중요성이나 다양성을 무시하기 때문에, 불필요하거나 중복된 관계(예: "사람 아래의 바닥"과 같은 사소한 공간 관계)를 생성하는 경며가 있습니다.
모델 설계의 한계: 전통적인 DSGG 접근 방식은 이미지 기반 SGG에서 계승된 바텀업(bottom-up) 파이프라인을 따릅니다. 즉, 객체를 먼저 탐지한 후 관계를 추론합니다. 이러한 설계는 객체 탐지기에 의해 병목 현상이 발생하며, 일반화하기 어려운 수작업 기반의 시공간 모듈에 의존하고, 크롭된 영역(cropped regions)만을 다룸으로써 문맥 정보를 버리게 됩니다.

핵심 질문은 다음과 같습니다: 왜 DSGG는 광범위한 멀티모달 비디오 이해의 발전 속도에 뒤처져 있는가? 저자들은 이 격차를 줄이기 위해 MLLM의 관점에서 DSGG를 재검토할 것을 제안합니다.

2. 방법론

제안된 접근 방식은 MLLM을 활용하여 직접적인 비디오 장면 그래프 생성을 수행함으로써, 평가 프레임워크와 모델 아키텍처를 모두 재고하는 것을 포함합니다.

2.1 태스크 설정의 재고: 새로운 평가 지표

생성된 장면 그래프의 실질적인 유용성을 더 잘 평가하기 위해, 저자들은 표준 재현율 외에 다섯 가지 보완적인 지표를 도입합니다:

MLLM-as-a-Judge를 통한 정밀도(Precision): 정답 주석(ground-truth annotations)이 불완전한 경우가 많으므로, 더 강력한 MLLM을 사용하여 정답에 존재하지 않는 예측된 관계의 유효성을 검증합니다.
장면 그래프 검색(Scene Graph Retrieval, SGRet): 예측된 그래프를 자연어로 변환하고 텍스트-비디오 검색 모델을 사용하여, 예측된 그래프가 비디오 검색을 얼마나 효과적으로 지원하는지 측정합니다.
장면 그래프 질의응답(Scene Graph QA, SGQA): Action Genome 비디오에서 추출한 1,000개의 객관식 질문으로 구성된 큐레이션 데이터셋입니다. 이는 생성된 장면 그래프를 유일한 문맥으로 사용하여 추론 능력(객체 식별, 공간/시간적 이해, 이벤트 이해, 다단계 추론)을 평가합니다.
중요도 인지 랭킹(Importance-Aware Ranking): DSGG를 랭킹 작업으로 평가하기 위해 정규화된 감쇠 누적 이득(nDCG)을 사용합니다. 이는 의미 있는 관계를 우선순위에 두기 위해 정보성(MLLM 프롬프팅을 통해 추정)과 다양성(텍스트 임베딩 유사도로 측정)을 통합합니다.
SGCls+: 모델이 정답 박스가 아닌 자체 예측 박스를 사용하여 장면 그래프를 예측하는 수정된 태스크 설정으로, 완벽한 탐지가 없는 상황에서의 관계 예측을 더욱 현실적으로 평가합니다.

2.2 모델 설계의 재고: MLLM 기반 DSGG

저자들은 세 가지 핵심적인 설계 변경을 통해 전통적인 바텀업 파이프라인에서 벗어난 탑다운(top-down) 패러다임을 제안합니다.

Reason-then-Locate 전략: 객체를 먼저 탐지하는 대신, MLLM이 전체 비디오에 대해 총체적인 추론을 수행하여 상호작용과 활동을 추론한 후, 나중에 이를 객체에 접지(grounding)합니다. 이는 인간의 시각적 해석 과정을 모방합니다.
시공간 관계 집합(Temporal Relation Set, TRS) 예측: 프레임 단위의 그래프를 생성하는 대신(이는 지속적인 관계에 대해 중복된 예측을 초래함), DSGG를 시공간적으로 접지된 5-항 튜플 $\langle \text{sub}, \text{rel}, \text{obj}, t_{\text{start}}, t_{\text{end}} \rangle$ 세트를 예측하는 것으로 재구성합니다. 이를 통해 프레임 수준의 중복을 제거하고 효율성과 시간적 일관성을 개선합니다.
중요도 인지 미세조정(Importance-Aware Finetuning, IAF): 정보가 없는 관계 문제를 해결하기 위해, 중요도 점수에 따라 정렬된 장면 그래프 트리플릿으로 모델을 미세조정합니다. 이는 자기회귀 생성 과정이 초기 시퀀스에서 관련성 높고 다양한 관계를 우선적으로 생성하도록 유도합니다.

시스템은 최종 접지 단계에서 오픈 보캐블러리(open-vocabulary) 탐지기(예: SAM 3)를 사용하여 MLLM의 시맨틱 추론 능력을 활용합니다.

3. 주요 기여

DSGG 태스크 설정의 재고: 본 논문은 재현율 중심 평가의 한계를 식별하고, 실질적인 유용성을 더 잘 반영하는 종합적인 지표 세트(Precision, SGRet, SGQA, nDCG 기반 랭킹, SGCls+)를 도입했습니다.
DSGG 모델 설계의 재고: 저자들은 DSGG를 위한 "Reason-then-Locate" 패러다임을 공식화했습니다. 효율성과 시간적 일관성을 개선하기 위해 TRS를 제안하였고, 정보가 풍부하고 다양한 관계 생성을 유도하기 위해 IAF를 제안했습니다.
강력한 MLLM 기반 베이스라인: 본 연구는 직접적인 비디오 장면 그래프 생성을 위해 MLLM을 채택한 첫 번째 체계적인 연구를 제공하며, 여러 데이터셋과 지표에 걸쳐 기존의 최첨단(SOTA) 방법들을 능가하는 강력한 베이스라인을 구축했습니다.

4. 실험 결과

제안된 방식은 Action Genome (AG), VidVRD, PVSG 데이터셋에서 평가되었습니다.

성능: MLLM 기반 접근 방식(InternVL3.5 및 Qwen3-VL 사용)은 일관되게 최첨단 성능을 달ermal했습니다. Action Genome에서, 이전 SOTA(UNO)를 SGDet의 Recall@50(예: +8.4%)에서 상당한 차이로 앞질렀으며, 우수한 정밀도(예: P@10이 27.2에서 48.4로 향상)를 입증했습니다.
정밀도-재현율 트레이드오프: 재현율이 증가함에 따라 심각한 정밀도 저하를 겪는 기존 방법들과 달리, 제안된 방법은 높은 재현율 수준에서도 높은 정밀도를 유지하여 중복되거나 노이즈가 섞인 관계가 적음을 보여주었습니다.
다운스트림 유용성: 이 방법은 다운스트림 태스크에서 상당한 개선을 보였습니다. SGQA에서 정확도는 이전 최고 모델(OED)의 36.2%에 비해 48.9%에 도달하여, 생성된 그래프가 핵심 시맨틱을 더 잘 포착함을 시사했습니다. SGRet에서 이 방법은 다양한 k값에 걸쳐 견고한 성능을 유지한 반-면, 전통적인 방법들은 k가 커짐에 따라 성능이 크게 저하되었습니다.
효율성: TRS 공식은 프레임 단위 베이스라인과 비교하여 훈련 시간을 2.3배 단축하고 추론 지연 시간을 최대 8.6배까지 줄여 효율성을 획기적으로 개선했습니다.
롱테일(Long-Tail) 처리: MLLM 기반 접근 방식은 롱테일 완화를 위해 특별히 설계된 방법들과 비교하여 희귀 관계 카테고리(예: "닦기", "글씨 쓰기")에서 더 균형 잡힌 성능을 보였는데, 이는 사전 학습된 광범위한 시각-시맨틱 지식 덕분인 것으로 보입니다.

5. 의의 및 주장

본 논문은 DSGG의 발전이 지체된 이유가 현대적인 MLLM의 능력을 활용하지 못하는 구식의 태스크 설정과 모델 설계 때문이라고 주장합니다. 바텀업 방식의 검색 지향적 접근에서 탑다운 방식의 추론 지향적 패러다임으로 전환함으로써, 저자들은 MLLM이 비디오 QA나 검색과 같은 다운스트림 애플리케이션에 더 정확하고 실질적으로 유용한 장면 그래프를 생성할 수 있음을 입증했습니다.

저자들은 자신들의 연구가 단순히 재현율 수치를 높이는 것에 그치지 않고, 생성된 장면 그래프의 품질, 정보성, 그리고 다양성을 근본적으로 개선한다고 강조합니다. 또한, 전통적인 재현율 기반 벤치마크의 한계를 넘어, 실제 시나리오에서 DSGG 시스템의 유용성을 진정으로 평가하기 위해서는 제안된 평가 지표(SGQA, SGRet, nDCG)가 필수적이라고 주장합니다. 본 연구는 MLLM이 특정 아키텍처적 변화(TRS, IAF)와 결려 결합될 때, 차세대 동적 장면 이해를 위한 유망한 토대를 제공한다는 점을 시사합니다.