💬 NLP

A Systematic Evaluation of Positional Bias in Multi-Video Summarization with MLLMs

이 논문은 새로운 벤치마크를 사용하여 9개의 멀티모달 거대언어모델(MLLM)을 대상으로 멀티 비디오 요약에서의 위치 편향을 체계적으로 평가하며, 요약 품질이 입력 순서와 도메인에 의해 크게 영향을 받고 현재의 완화 전략들이 이러한 편향을 완전히 제거하는 데 실패하고 있음을 밝혀낸다.

원저자: Huangchen Xu, Yuan Wu, Yi Chang

게시일 2026-06-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Huangchen Xu, Yuan Wu, Yi Chang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 네 가지 요리(수프, 샐러드, 스테이크, 디저트)로 구성된 테이스팅 메뉴를 준비하는 셰프라고 상상해 보세요. 당신은 매우 똑똑하지만 약간 정신이 없는 AI 어시스턴트에게 각 요리에 대한 완벽하고 짧은 설명을 써달라고 요청합니다.

당신은 AI가 첫 번째 요리로 나오든 마지막 요리로 나오든 상관없이 스테이크를 완벽하게 설명할 것이라고 생각할 수도 있습니다. 하지만 **"MLLM의 다중 비디오 요약에서의 위치 편향에 대한 체계적 평가(A Systematic Evaluation of Positional Bias in Multi-Video Summarization with MLLMs)"**라는 제목의 이 논문은, AI가 리스트 내에서 비디오가 놓이는 위치에 따라 상당히 까다롭게 군다는 사실을 발견했습니다.

이 논문의 발견을 쉬운 비유를 통해 정리하면 다음과 같습니다.

1. "식탁의 자리" 문제

연구진은 AI에게 비디오 네 개를 한꺼번에 보여주고 각각을 요약하라고 요청했을 때, 요약의 품질이 비디오의 위치(1번째, 2번째, 3번째, 4번째)에 따라 달라진다는 것을 발견했습니다.

"미들 차일드(Middle-Child, 중간 아이)" 증후군: 마치 중간 아이가 첫째나 막내보다 관심을 덜 받는 것처럼, 리스트의 중간에 있는 비디오들(2번과 3번 위치)은 종종 더 좋지 않은 요약을 받습니다. AI는 이 비디오들에 대해 세부 사항을 잊어버리거나 모호한 설명을 쓰는 경향이 있습니다. 이는 맨 처음이나 맨 마지막에 있는 비디오들에 비해 나타납니다.
"첫인상" vs "마지막 피날레": 때때로 AI는 첫 번째 비디오를 좋아하기도 하고(초두 효과, Primacy effect), 때로는 마지막 비디오를 좋아하기도 합니다(최신 효과, Recency effect). 하지만 흔히, 그저 중간의 비디오들을 무시해 버립니다.

2. 편향을 숨기는 "마술"

연구진은 단순히 평균 점수만 봐서는 AI의 편향을 찾아낼 수 없다는 점을 지적했습니다.

비유: 어떤 학생이 첫 번째 시험에서는 A를 받고, 두 번째와 세 번째 시험에서는 F를 받고, 네 번째 시험에서 다시 A를 받았다고 가정해 봅시다. 이 학생의 평균 성적은 괜찮아 보일 수 있지만(B 학점), 실제로는 중간 시험들에 문제가 있는 것입니다.
연구진은 일부 AI 모델이 '중립적인' 평균 점수를 가질 수 있지만, 자세히 들여다보면 양 끝의 비디오는 잘 설명하면서도 중간 비디오들은 제대로 처리하지 못한다는 것을 발견했습니다. 그들은 이러한 "미들 차일드 약점"을 잡아내기 위해 표준 테스트가 놓치는 특수한 도구(지표)를 만들었습니다.

3. "더 많은 눈"의 문제가 아니다

연구진은 더 많은 자원을 제공하면 이 문제가 해결될지 테스트했습니다.

더 많은 프레임: AI에게 더 많은 사진(프레임)을 보여주었습니다.
더 많은 단어: AI에게 더 길게 쓸 수 있도록 허용했습니다.
결과: 별로 도움이 되지 않았습니다. AI에게 더 많은 "시각적 예산"이나 더 많은 공간을 주더라도, AI는 여로 중간 비디오들을 여전히 무시했습니다. 이는 마치 산만한 학생에게 더 큰 공책을 주는 것과 같습니다. 공책이 커져도 그들은 여로 중간 챕터에 대해서는 쓰지 않을 것입니다.

4. "순서가 중요하다" 실험

이것이 우연이 아님을 증명하기 위해 연구진은 순환 회전(cyclic rotation) 방식을 사용했습니다.

비유: 네 명의 친구(비디오 A, B, C, D)가 네 개의 의자(1, 2, 3, 4)에 돌아가며 앉는다고 상상해 보세요.
- 라운드 1: A가 의자 1에, B가 2에, C가 3에, D가 4에 앉습니다.
- 라운드 2: A가 의자 2에, B가 3에, C가 4에, D가 1에 앉습니다.
- 이런 식으로 계속 진행합니다.
이 방식을 통해 모든 비디오가 모든 의자에 앉을 기회를 갖도록 했습니다. 결과적으로 비디오 A는 의자 1에 앉았을 때는 훌륭한 요약을 받았지만, 의자 3에 앉았을 때는 나쁜 요약을 받았습니다. 비디오의 내용은 변하지 않았지만, 자리가 변한 것입니다.

5. 프롬프트로 AI를 "교정"하기 시도

연구진은 AI를 "코칭"하여 공정하게 만들려고 시도했습니다.

"공정하게 행동하라"는 지시: AI의 지침에 "모든 비디오에 동일한 주의를 기울여 주세요"라는 노트를 추가했습니다.
결과: 별로 효과가 없었습니다. AI는 여전히 양 끝을 선호했습니다. 이는 마치 지친 학생에게 "모든 챕터를 똑같이 공부하세요"라고 말해도, 그들은 결국 중간 부분은 대충 훑어보는 것과 같습니다.
"한 번에 하나씩": 네 개의 비디오를 모두 보게 하되, 오직 하나의 비디오만 요약하도록 요청하기도 했습니다. 이 방법은 중간 비디오들에 어느 정도 도움이 되었지만, 완벽한 해결책은 아니었습니다.

6. "정보 누출(Leakage)" 문제

마지막으로, 연구진은 AI가 이야기를 혼동하여 섞어버리는 경우를 발견했습니다.

비유: 만약 AI에게 "디저트" 영상을 설명하라고 하면, AI는 비디오들이 구분되어 있음에도 불구하고 "수프" 영상의 세부 사항을 실수로 설명할 수 있습니다. 이는 비디오들이 긴 줄로 늘어서 있을 때 더 자주 발생합니다.

결론

이 논문은 현재의 AI 모델들이 여러 비디오를 한꺼번에 요약하라는 요청을 받았을 때 신뢰할 수 없다고 결론짓습니다. 이 모델들은 보여주는 비디오의 순서에 민감합니다. 좋은 요약을 얻고 싶다면, 단순히 네 개의 비디오를 한데 던져주는 것만으로는 부족합니다. 각 비디오의 위치가 매우 중요하며, 현재의 AI는 이들을 모두 동등하게 다루는 데 어려움을 겪고 있습니다.

연구진은 미래의 AI 개발자들이 이 "위치 편향"을 해결할 수 있도록 돕기 위한 새로운 "테스트 트랙(벤치마크)"을 구축했습니다. 이를 통해 언젠가 AI가 중간에 있는 비디오들을 잊어버리지 않고 플레이리스트의 비디오들을 요약할 수 있게 될 것입니다.

기술 요약: MLLM의 다중 비디오 요약에서의 위치 편향에 대한 체계적 평가

문제 정의

멀티모달 거대 언어 모델(MLLM)이 비디오 이해 능력에서 점점 더 높은 역량을 보여주고 있지만, 여러 개의 비디오 입력을 동시에 처리할 때의 신뢰성은 여전히 제대로 파악되지 않은 상태입니다. 본 논문은 모델이 단일 입력 시퀀스 내에서 각 비디오에 대해 구별되고 정렬된 요약을 생성해야 하는 다중 비디오 요약(multi-video summarization) 작업에서의 **위치 편향(positional bias)**을 조사합니다.

핵심 문제는, 기반이 되는 시각적 콘텐츠가 동일하더라도 비디오의 입력 슬롯 위치(예: 첫 번째, 중간, 또는 마지막)에 따라 개별 비디오 요약의 품질이 변동될 수 있다는 점입니다. 긴 문맥에서의 정보 검색이나 "중간에서의 손실(lost in the middle)" 효과에 초점을 맞춘 기존의 NLP 또는 다중 이미지 이해 연구와 달리, 다중 비디오 요약은 독특한 과제를 제시합니다. 즉, 모델은 정보를 검색할 뿐만 아니라, 제한된 생성 용량을 여러 입력 슬롯에 걸쳐 균형 있게 배분하면서 각 생성된 요약을 올바른 비디오 소스에 결합(binding)해야 합니다.

방법론

벤치마크 구축

저자들은 두 가지 공개 데이터셋인 ActivityNet(요리, 가사, 레저 카테고리 포함)과 News Video Dataset을 사용하여 새로운 벤치마크를 구축했습니다.

시나리오: 네 가지 카테고리(요리, 가사, 레저, 뉴스)와 다양한 비디오 길이(단기: 0~~1분; 장기: 1~~2분)를 포함합니다.
입력 규모: 실험은 쌍체(2개 비디오) 및 리스트 방식(4개 비디오) 입력에 대해 수행되었습니다.
순서 지정: 순환 치환(cyclic permutation) 설계를 채택했습니다. $P$ 개의 비디오에 대해, 각 비디오는 실험 실행 전반에 걸쳐 모든 위치에 정확히 한 번씩 나타나도록 하여, 추론 비용을 관리 가능한 수준으로 유지하면서도 균형 잡힌 분석을 보장했습니다.
전체 데이터: 7와 708개의 고유 비디오를 통해 수천 개의 순서 제어 인스턴스를 생성했습니다.

평가 대상 모델

독점 모델과 오픈 소스 모델을 모두 포함하여 총 9개의 MLLM을 평가했습니다:

독점 모델: Gemini-3.1-Pro, GPT-5.4.
오픈 소스 모델: InternVL3.5 (8B, 14B), Qwen3-VL (8B, 30B-A3B), MiniCPM-o-4.5, GLM-4.1V-9B-Thinking, MiMo-VL-7B-RL.

평가 지표

어휘적 중복 지표(예: ROUGE)가 매우 추상적인 요약 작업에는 불충분하다는 점을 인식하여, 저자들은 세 가지 상호 보완적인 지표를 제안했습니다:

커버리지(Coverage): 인간이 작성한 참조 문헌으로부터 핵심 정보가 얼마나 보존되었는지 측정합니다.
- ActivityNet 도메인: LLM-as-a-Judge(GPT-5.1)를 사용하여 참조 문장이 포함되었는지 판단합니다(의역 허용).
- 뉴스 도메인: 뉴스 요약은 대개 짧고 엔티티 중심적이므로, 매칭된 참조 토큰의 비율을 측정하는 **참조 파편 커버리지(reference-fragment coverage)**를 사용합니다(NEWSROOM에서 영감).
방향성 위치 편향(Directional Positional Bias, DPB): 초기(초두 효과) 대 후기(최신 효과) 위치에 대한 선호도를 정량화하는 부호가 있는 지표입니다.
- 공식: 초기 위치에는 음수 가중치를, 후기 위치에는 양수 가중치를 부여한 커버리지 점수의 가중 합계입니다.
중간-가장자리 격차(Middle-Edge Gap, MEG): 특히 4개 비디오 입력에 대해, 이 지표는 중간 위치(2, 3번)와 가장자리 위치(1, 4번)의 평균 커버리지 차이를 계산합니다.
- 음의 MEG는 "중간 위치 약점"을 나타내며, 이는 초기 및 후기 편향이 서로 상쇄되어 DPB가 0에 가까워질 때 가려질 수 있는 현상입니다.

정렬 전략(Alignment Strategy)

요약이 소스 비디오에 올바르게 귀속되도록 하기 위해 2단계 정렬 전략을 사용했습니다:

템플릿 기반: 고정된 마커(예: [video0], [video1])를 기준으로 세그먼트를 추출합니다.
의미론적 폴백(Semantic Fallback): 템플릿 적용이 실패할 경우, 문장을 분할한 뒤 의미론적 유사도가 가장 높은 비디오에 할당합니다.

주요 결과

1. 위치 효과의 이질성

위치 편향은 보편적인 초두 또는 최신 패턴이 아니라, 모델 및 도메인 의존적입니다.

DPB vs. MEG: 여러 설정에서 DPB는 0에 가깝지만(편향이 없는 것처럼 보임) 유의미한 음의 MEG를 보였습니다. 예를 들어, Leisure-4에서의 InternVL3.5-14B는 DPB는 0.07%였으나 MEG는 -2.65%였는데, 이는 가장자리 성능은 균형 잡혔음에도 불구하고 중간 위치의 성능이 저하되었음을 나타냅니다.
규모 의존성: 쌍체(P=2) 결과는 리스트 방식(P=4)의 동작을 신뢰성 있게 예측하지 못했습니다. 일부 모델은 P=2에서 강한 최신 효과를 보였으나, P=4에서는 이 효과가 사라지거나 역전되었는데, 이는 다중 비디오 입력에서 복잡한 위치 간 상호작용이 존재함을 시사합니다.

2. 견고성 및 민감도

시각적 예산(Visual Budget): 샘플링된 프레임 수나 해상도를 늘려도 위치 불균형이 일률적으로 제거되지 않았습니다. 음의 MEG 패턴은 다양한 시각적 예산 구성에서도 지속되었습니다.
요약 길이: 요청된 요약 길이(예: 2문장에서 6문장으로 증가)를 늘려도 중간 위치의 약점은 제거되지 않았습니다. 어떤 경우에는 예산이 커질수록 불균형한 세부 사항 배분이 더 명확하게 드러났는데, 이는 가장자리 위치가 중간 위치보다 더 많은 커버리지를 얻었기 때문입니다.
경계 형식(Boundary Formats): 입력 구분자를 검은색 프레임에서 텍스트 레이블로 변경하면 커버리지 곡선은 변하지만, 일관된 개선을 제공하거나 중간 위치의 약점을 제거하지는 못했습니다.

3. 완화 및 진단

프롬프트 지시문: "균형 잡힌 주의(balanced attention)"를 명시적으로 추가하는 지시가 신뢰할 만한 완화책을 제공하지 못했습니다. 어떤 경우에는 중간 위치를 개선하기보다 가장자리 위치의 커버리지를 낮춤으로써 곡선을 평탄하게 만드는 결과를 초래했습니다.
단일 타겟 생성: 한 번에 하나의 비디오에 대해서만 요약을 생성하도록 프롬프팅하여(자기회귀적 접두사 간섭 제거), P=4 설정에서 약한 위치의 커버리지를 개선했으나 P=2 설정에서는 성능이 저하되었습니다. 이는 공동 생성(joint generation) 과정에서의 압축이 더 큰 입력에서 편향을 유발함을 시사합니다 추측됩니다.
프롬프트 배치: 비디오 뒤에 작업 지시를 배치하는 방식(비디오 우선 방식)은 표준적인 프롬프트 우선 방식에 비해 "교차 비디오 누출(cross-video leakage, 한 비디오의 세부 사항이 다른 비디오의 요약에 나타나는 현상)" 발생률을 높였습니다.

의의 및 주장

본 논문은 다중 비디오 요약이 입력 프로토콜과 위치에 여전히 민감함을 주장하며, MLLM이 순서 불변(order-invariant)이라는 가설에 도전합니다.

기존 지표의 한계: 본 연구는 부호가 있는 방향성 편향(DPB)만으로는 위치 문제를 진단하기에 불충류하다는 것을 입증했습니다. DPB는 중간 위치 약점과 같은 비단조적(non-monotonic) 효과를 가릴 수 있기 때문입니다. 따라서 이러한 미묘한 차이를 포착하기 위해서는 제안된 MEG 지표가 필수적입니다.
프로토콜 민감도: 결과는 현재 모델들이 입력 순서에 견고하지 않음을 보여줍니다. 프롬프트 배치나 경계 포맷의 작은 변화가 타겟 바인딩(target binding) 및 누출률을 크게 변화시킬 수 있습니다.
향후 연구를 위한 토대: 저자들은 벤치마크, 특정 지표(Coverage, DPB, MEG), 그리고 진단 도구(단일 타겟 프롬프팅, 누출 감사)를 제공하여 멀티모달 시스템의 순서 견고성을 연구하고 개선하기 위한 기초를 마련했습니다.

결론적으로, 가벼운 프롬프트 수준의 개입이 위치 효과를 부분적으로 재구성할 수는 있지만, 문제를 완전히 해결하지는 못합니다. 이는 더 견고하고 순서 불변적인 멀티모달 시스템을 구축하기 위해서는 현재의 추론 시 제어 이상의 아키텍처 및 학습 단계의 개입이 필요함을 시사합니다.