기술 요약: Video-LLM은 실제로 보고 있는가? 장기 영상에서의 캐릭터 추적 실패 진단

문제 정의

최근의 오픈 소스 7–8B 비디오 거대 언어 모델(Video-LLM)들이 InfiniBench의 "글로벌 외형(global appearance)" 태스크에서 보고된 정확도 37–38%를 달-성했습니다. 이 태스크는 전체 TV 에피소드에 걸쳐 특정 이름이 붙은 캐릭터의 의상 변화 순서를 식별하는 것을 요구합니다. 그러나 이러한 성능의 근원이 무엇인지에 대해서는 심각한 불확실성이 존재합니다. 이 모델들이 실제로 캐릭터의 정체성을 시간의 흐름에 따라 추적하는 것인지, 아니면 성별 단서, 위치 편향, 또는 암기된 연관 관계와 같은 얕은 휴리스틱(heuristics)에 의존하여 정답을 맞히는 것인지 명확하지 않습니다. 핵심 문제는 진정한 캐릭터 추적(시각적 증거를 특정 이름의 엔티티에 결합하는 것)과 벤치마크 점수만을 높이는 피상적인 패턴 매칭을 구분하는 것입니다.

방법론

저자들은 벤치마크 정확도와 실제 캐릭터 추적 능력 사이의 상관관계를 분리하기 위해 9가지 조건의 진단 프로토콜을 제안합니다. 평가는 InfiniBench의 The Big Bang Theory(BBT) 검증 세트(129개 질문)에 집중하며, 교차 쇼(cross-show) 분석을 위해 Friends와 Castle로 확장됩니다.

평가 대상 모델:

• 오픈 소스 (7–8B): InternVL2-8B, Qwen2.5-VL-7B, LLaVA-NeXT-Video-7B.
• 프런티어 레퍼런스: Gemini 2.5 Flash (API 제한으로 인해 부분 서브셋에 대해 평가됨).

진단 조건:

1. 표준 객관식 (Standard MC): 전체 에피소드 비디오와 객관식 질문.
2. 텍스트 전용 (Text-Only): 텍스트 기반 추측을 격리하기 위해 동일한 프롬프트와 함께 16개의 검은색 프레임 사용.
3. 타겟 프레임 (Targeted Frames): 누락된 시각적 콘텐츠가 병목 현상인지 테스트하기 위해 균등 샘플링 대신 의상 변화 구간의 정답(oracle) 프레임을 사용.
4. 이름 치환 (Name Substitution - 핵심 진단): 질문 내의 이름을 다른 주요 출연진의 이름으로 바꾸되, 비디오와 선택지는 동일하게 유지. 진정한 추적 능력이 있다면 모델은 답을 바꿔야 하며, 이름을 무시한다면 답을 바꾸지 않을 것임. 이는 동성(Same-Gender) 대 이성(Cross-Gender) 치환으로 세분화됨.
5. 주관식 (Open-Ended, OE): 객관식 선택지를 제거하고 의상 순서에 대한 자유 텍스트 설명을 요구.
6. 메타데이터 전용 (Metadata-Only): 사전 학습 데이터 오염(암기)을 테스트하기 위해 비디오를 완전히 제거.
7. 프레임 수 절제 (Frame-Count Ablation): 프레임 수(8, 16, 32, 64)를 변화시켜 시각적 입력 증가가 추적 성능을 개선하는지 테스트.
8. 기권 (Abstention): 불확실성 판단 능력을 테스트하기 위해 "판단할 수 없음" 옵션 추가.
9. 자막 절제 (Subtitle Ablation): 텍스트 맥락의 부재가 실패의 원인인지 테스트하기 위해 파싱된 대화 텍스트 추가.

지표:

• 이름 치환 민감도 (Name-Substitution Sensitivity): 이름 변경 후 모델이 답변 알파벳을 변경한 비율.
• 전체 에피소드 정확도 (Collective Accuracy): 모든 질문을 올바르게 답변한 에피소드의 비율.
• 위치 편향 (Position Bias): 알파벳 선호도를 탐지하기 위한 균등 분포 대비 카이제곱 검정.

주요 결과

1. 낮은 캐릭터 추적 민감도

주요 발견 사항은 오픈 소스 모델들이 특정 캐릭터 이름을 거의 무시한다는 점입니다.

• 이름 치환: 캐릭터 이름을 바꿨을 때, 모델들이 답을 바꾼 경우는 모델과 쇼에 따라 **4–31%**에 불과했습니다. 이는 모델이 정체성을 추적할 때 기대되는 100%에 가까운 변화율보다 현저히 낮습니다.
• 성별 편향 메커니즘: 민감도는 거의 전적으로 이성 치환에 의해 주도되었습니다. 남성 캐릭터를 여성 캐릭터로(또는 그 반대로) 바꿨을 때 민감도는 20–43%로 상승했습니다. 그러나 동성 치환(예: Sheldon에서 Howard로)의 경우 민감도는 **4–17%**로 떨어졌습니다. 이는 모델이 거친 성별 단서는 사용하지만, 동일 성별 내의 개인을 구별하지 못함을 나타냅니다.

2. 객관식 vs 주관식 격차

• 오픈 소스 모델: 선택지 없이 답을 생성하도록 강제되었을 때, 정확도가 18–25 퍼센트 포인트 하락했습니다. 결정적으로, 151개의 주관식 응답 중 완전 정답은 0개였습니다.
• Gemini 2.5 Flash: 격차가 더 작았으며(12.2 포인트), 52개 중 14개의 완전 정답을 기록하여, 여전히 완벽하지는 않지만 정체성 결합이 더 견고함을 시사했습니다.
• 시사점: 오픈 소스 모델의 높은 객관식 점수는 일부 제약된 선택지 세트의 결과물이며, 이는 거친 성별 필터링을 통해 오답을 제거할 수 있게 함으로써 발생하는 현상입니다.

3. 위치 편향 및 캘리브레이션

• 위치 편향: 오픈 소스 모델들은 강력하고 모델 고유한 알파벳 편향을 보였습니다 (예: LLaVA는 'A'를 70% 예측, InternVL2와 Qwen은 'E'를 약 40% 예측). 이는 통계적으로 유의미하며 콘텐츠와 무관합니다.
• 캘리브레이션: 모델들은 "모름" 옵션을 거의 사용하지 않았으며(기권율 <12%), 이는 스스로의 불확실성을 식별하지 못함을 의미합니다.

4. 대안적 설명 배제

• 프레임 수: 프레임을 16개에서 32개로 늘리면 전체 정확도는 향상되었으나, 이름 치환 민감도는 개선되지 않았습니다. 병목 현상은 시각적 데이터의 양이 아니라, 해당 데이터를 이름 엔티티에 결합하는 능력의 문제입니다.
• 자막: 대화 텍ex를 추가해도 성능이 향상되지 않았으므로, 텍스트 맥락의 부재가 주요 실패 모드가 아님을 확인했습니다.
• 암기: 메타데이터 전만 베이스라인은 우연 수준(~20%)을 기록하여, 쇼 제목이나 전형적인 의상을 사전 학습 과정에서 암기하여 성공한 것이 아님을 입증했습니다.
• 주석 구조: "난이도"는 에피소드 지속 시간과 고정된 프레임 예산 사이의 상호작용(예: Castle 에피소드는 더 길어서 균등 샘플링이 의상 변화를 놓칠 확률이 높음)에 따라 쇼마다 다릅니다. 이는 모델의 능력이 아닌 구조적 아티팩트입니다.

5. 전체 에피소드 정확도

종합 정확도가 ~38%임에도 불구하고, 세 가지 오픈 소스 모델 모두 BBT 에피소드 20개 중 단 하나도 전체를 올바르게 답변하지 못했습니다. 이는 정답들이 체계적인 이해가 아닌 흩어진 추측임을 확인해 줍니다.

핵심 기여

1. 진단 프로토콜: 벤치마크 정확도와 캐릭터 추적 능력을 분리하고, 특히 이름 치환과 성별 분해를 강조하는 9가지 조건의 프레임워크를 제공합니다.
2. 실패의 실증적 증거: 현재의 7–8B 비디오 LLM들이 정체성을 견고하게 추적하지 못하고, 거친 성별 단서와 위치 편향에 의존하고 있음을 입증했습니다.
3. 툴킷 공개: 향후 비디오 LLM 벤치마크의 캐릭터 추적 주장을 감사할 수 있는 진단 툴킷을 공개합니다.
4. 벤치마크 설계에 대한 제언: 오해의 소지가 있는 종합 점수를 방지하기 위해 이름 치환 불변성, 에피소드별 주석 통계, 그리고 MC-OE 격차를 보고할 것을 권장합니다.

의의 및 주장

본 논문은 비디오 LLM 벤치마크(예: 37–38% 정확도)에서 보고된 진전이 캐릭터 추적이라는 특정 능력에 있어서는 오도될 수 있음을 주장합니다. 저자들은 이러한 점수가 모델이 캐릭터를 "보고" 따라가는 능력이 아니라, 성별을 필터링하고 위치 편향에 따라 추측하는 능력을 반영한다고 주장합니다.

연구는 현재의 비디오 LLM의 발전(시각적 특징, 추론, 컨텍스트 길이의 확장)이 근본적인 병목 현상인 시각적 정체성을 언어 토큰에 결합하는 문제를 해결하지 못하고 있다고 결론짓습니다. 저자들은 이 결합 메커니즘을 해결하지 않는 한, 비디오 LLM은 종합적인 벤치마크 점수와 상관없이 진정한 시간적 정체성 추적이 필요한 작업에서 계속 실패할 것이라고 강조합니다. 이 연구는 분야에 대한 경고적 진단으로서, 종합 정확도 지표에서 정체성 민감도 평가로의 전환을 촉구합니다.