이 논문은 **"현재의 인공지능 (AI) 이 만화를 제대로 이해할 수 있을까?"**라는 질문에 답하기 위해 진행된 연구입니다. 연구팀은 'Re:Verse'라는 새로운 시험지를 만들어 AI 들에게 만화를 읽게 했고, 결과는 놀랍게도 AI 가 만화의 '스토리'를 전혀 이해하지 못한다는 것을 발견했습니다.
이 복잡한 연구를 일상적인 비유로 쉽게 설명해 드릴게요.
1. 연구의 배경: 왜 만화인가?
만화는 그림과 글이 섞여 있고, 페이지를 넘길 때마다 이야기가 이어지는 특별한 예술입니다. 마치 연속극을 보는 것과 같아요.
기존 AI 의 한계: 지금까지의 AI 는 만화의 '한 장'만 보여줘도 "이건 고양이네", "이건 말풍선이네"라고 말은 잘했습니다. 하지만 여러 장을 이어 붙여 이야기를 만들거나, "왜 캐릭터가 갑자기 화를 냈지?"라는 이유를 추론하는 것은 매우 서툴렀습니다.
비유: AI 는 만화책의 한 페이지를 찍어낸 사진을 보고 "여기 개가 있구나"라고 말하는 것은 잘하지만, 책을 처음부터 끝까지 읽어서 "왜 개가 그날 울었는지"를 이해하지 못합니다.
2. 새로운 시험지: 'Re:Verse' (리버스)
연구팀은 일본의 인기 만화인 'Re:Zero'를 바탕으로 308 개의 페이지로 구성된 새로운 시험지 (Re:Verse) 를 만들었습니다.
시험 내용:
스토리 만들기: 만화 장면을 보고 소설처럼 이야기를 써내라.
대본 분석: 누가 무슨 말을 했는지, 누가 무슨 생각을 했는지 정확히 찾아내라.
시간 추론: 앞장면을 보고 다음 장면을 맞혀라. 혹은 중간에 빠진 장면을 채워라.
특이점: 이 시험지는 단순히 "맞았나 틀렸나"가 아니라, 이야기의 흐름이 자연스러운지, 캐릭터의 성격이 일관되었는지까지 꼼꼼히 채점합니다.
3. 실험 결과: AI 의 '아픈' 진실
연구팀은 최신 AI 모델 8 개를 이 시험지에 도전시켰는데, 결과는 대참사였습니다.
① 캐릭터 기억력 부재 (Character Consistency Failure)
상황: AI 가 이야기를 써내려 갔는데, 주인공의 이름이 중간에 바뀌거나, 성격을 전혀 다르게 묘사했습니다.
비유: 마치 연극 배우가 무대 위에서 10 분마다 다른 사람으로 변신하는 것과 같습니다. "아까는 착한 소년인데, 지금부터는 악당이네?"라고 AI 가 혼란을 일으켰습니다.
결과: 인간이 쓴 이야기와 비교했을 때, AI 가 캐릭터 이름을 제대로 언급하는 빈도는 10 배나 낮았습니다.
② 말과 그림의 연결 실패 (Attribution Failures)
상황: 만화에서 말풍선이 누구 입에서 나왔는지, 혹은 누가 무슨 생각을 했는지 (내면 독백) 를 구분하지 못했습니다.
비유:연극 대본을 읽는데, 대사가 누구의 것인지 알 수 없는 상태입니다. "이 대사는 주인공이 한 말인데, AI 는 옆에 있는 조연이 한 말로 착각합니다."
결과: 캐릭터가 한 말을 정확히 찾아내는 능력은 거의 0% 에 가까웠습니다.
③ 시간과 인과관계 무력 (Temporal Reasoning)
상황: "왜 A 가 B 를 때렸지?"라는 질문에 답할 수 없었습니다. 앞장면의 사건이 뒷장면의 결과와 어떻게 연결되는지 이해하지 못했습니다.
비유:동영상을 한 장씩 끊어서 보는데, 장면과 장면 사이의 '이유'를 전혀 연결하지 못하는 것입니다. "폭발이 일어났는데, 왜 폭발이 일어났는지, 그리고 그다음에 뭐가 일어날지 전혀 예측 못 합니다."
결과: 이야기의 흐름을 예측하는 정확도는 **28.5%**에 불과했습니다. (거의 무작위 추측 수준)
4. 핵심 발견: '추론의 간극' (The Inferent Gap)
이 연구에서 가장 흥미로운 발견은 AI 가 '빈칸 채우기'를 할 때 역설적인 현상을 보인다는 점입니다.
현상: 중간에 페이지가 2 장 빠져있을 때보다, 3 장이 빠져있을 때 오히려 더 잘 맞추는 경우가 있었습니다.
비유:퍼즐을 생각해보세요. 조각이 2 개 빠졌을 때는 "어떤 조각이 들어갈지 고민하다가 틀린 조각을 넣는 실수"를 하지만, 3 개가 빠졌을 때는 AI 가 "아, 이건 그냥 큰 그림을 대충 그려야겠구나"라고 포기하고 임의의 그림을 그리다가 운 좋게 맞는 경우가 있다는 뜻입니다.
의미: AI 는 페이지 사이의 **논리적 연결고리 (인과관계)**를 이해하지 못하고, 그냥 무작위로 다음 장면을 생성하고 있다는 증거입니다.
5. 결론 및 의의
이 논문은 **"현재의 AI 는 만화를 '읽을' 수는 있어도, '이해'는 못 한다"**는 것을 증명했습니다.
핵심 메시지: AI 는 그림을 보고 글자를 읽는 기술은 뛰어나지만, 이야기의 흐름, 캐릭터의 감정, 시간의 흐름을 이어주는 '지적 능력'이 부족합니다.
미래: 이 연구 (Re:Verse) 는 앞으로 만화를 더 잘 이해할 수 있는 AI 를 개발하기 위한 **기준점 (벤치마크)**이 될 것입니다. 마치 아이에게 독해력을 가르치기 전에, 먼저 "아이들이 글을 얼마나 이해하지 못하는지"를 정확히 측정하는 시험지를 만든 것과 같습니다.
한 줄 요약:
"지금의 AI 는 만화책을 그림과 글자만 읽는 기계일 뿐, 이야기의 맥락을 이해하는 독자는 아닙니다. 이 연구는 그 한계를 정확히 지적하고, 더 똑똑한 AI 를 만들기 위한 첫걸음을 내디뎠습니다."
1. 문제 정의 (Problem Statement)
현재의 비전 - 언어 모델 (VLM) 은 개별 만화 패널의 표면적 인식 (텍스트 인식, 객체 감지) 에서는 탁월한 성능을 보이지만, **연속적인 시각적 스토리텔링 (Sequential Visual Storytelling)**을 이해하는 데에는 치명적인 한계가 존재합니다.
핵심 문제: VLM 은 단일 패널 해석에는 능숙하지만, 패널 간의 시간적 인과관계 (Temporal Causality), 캐릭터 일관성 (Character Consistency), 그리고 **장면 간 연결성 (Cross-panel Cohesion)**을 파악하는 데 실패합니다.
기존 벤치마크의 한계: 기존 만화 이해 벤치마크 (Manga109 등) 는 대부분 단일 패널 기반의 구조 분석이나 짧은 시퀀스의 분류/선택 과제에 국한되어 있어, 장편 서사 (Long-form Narrative) 의 복잡성, 비선형적 시간선, 그리고 내면의 독백 등을 평가할 수 없습니다.
목표: 만화라는 독특한 멀티모달 서사 형식을 이해하기 위해, 장편 스토리 전체에 걸친 맥락 유지와 심층적인 서사 추론 능력을 평가할 수 있는 새로운 프레임워크가 필요합니다.
2. 방법론 (Methodology)
2.1. Re:Verse 벤치마크 구축
데이터 소스: 인기 있는 만화인 'Re:Zero - Starting Life in Another World'의 제 1 권 (Arc 1) 을 기반으로 구성되었습니다. 이 작품은 시간 루프와 비선형적 서사 구조를 가지고 있어 VLM 의 추론 능력을 테스트하기에 이상적입니다.
데이터 규모: 11 개의 챕터에 걸쳐 308 개의 주석된 패널로 구성되었습니다.
주석 (Annotation) 프로세스:
정밀한 공간 주석: 대화 (), 내면 독백 (), 장면 요소에 대한 정밀한 바운딩 박스 (Bounding Box) 및 시맨틱 태그 할당.
서사 정렬 (Narrative Alignment): 만화 패널과 원작 라이트 노벨 텍스트를 1:1 로 매칭하여 정밀한 텍스트 기반의 Ground Truth 를 확보했습니다.
구조: 패널 간의 시간적 의존성과 서사 흐름을 보존하도록 구성되었습니다.
2.2. 평가 프레임워크
VLM 의 능력을 평가하기 위해 3 가지 핵심 축으로 구성된 평가 태스크를 도입했습니다:
서사 생성 (Story Synthesis):
스토리 생성: 만화 챕터를 일관된 서사체 (Prose) 로 변환.
요약 생성: 만화 페이지와 라이트 노벨 텍스트를 각각 요약하여 시각적 서사와 텍스트 서사 간의 이해도 차이 (Gap) 를 측정.
캐릭터 그라운딩 (Character Grounding):
대화 추출 및 귀속: 패널 내 텍스트 위치를 탐지하고, 해당 대화가 어떤 캐릭터의 것인지 시각적 단서를 통해 올바르게 귀속 (Attribution) 시키는지 평가.
시간적 추론 (Temporal Reasoning):
다음 페이지 예측 (Next Page Prediction): 앞선 페이지들을 보고 다음 페이지를 예측.
중간 페이지 예측 (Intermediate Page Prediction): 누락된 페이지 (예: 2 장 또는 3 장) 를 앞뒤 문맥으로 추론.
시각적 질문 응답 (VQA): 여러 페이지에 걸친 정보를 종합하여 복잡한 질문에 답변.
2.3. 평가 지표 및 모델
평가 대상: 오픈소스 VLM (InternVL, Ovis, Qwen-VL 등) 과 상용 모델을 포함하여 평가했으나, 데이터 오염 방지와 재현성을 위해 오픈소스 모델에 중점을 두었습니다.
지표: 자동화 지표 (BERTScore, ROUGE, STTR, NER Density) 와 인간 평가 (Human Evaluation), 그리고 LLM 기반 평가를 병행했습니다. 특히 서사적 일관성을 위해 비례적 페널티 시스템과 상태 기반 점수화를 도입했습니다.
3. 주요 결과 (Key Results)
실험 결과, 현재 VLM 은 만화 이해에 있어 근본적인 한계를 가지고 있음이 확인되었습니다.
캐릭터 일관성 실패 (Character Consistency Failure):
생성된 텍스트에서 등장인물 언급 빈도 (NER Density) 가 인간 기준 (0.087) 대비 3~10 배 낮음 (모델별 0.009~0.027).
**캐릭터 귀속 정확도 (Attribution Accuracy) 는 거의 0%**에 가까웠습니다. (예: InternVL-14B 는 대화 추출 F1 점수는 높았으나, 누가 말했는지 귀속 정확도는 0.00% 였음).
시각 - 텍스트 통합의 병목 (Visual-Textual Integration Bottleneck):
텍스트 위치 탐지 (IoU) 는 양호했으나, 텍스트 추출 자체의 F1 점수가 0.25 미만으로 낮아 시각적 정보와 텍스트 정보의 통합 처리에 실패했습니다.
시간적 추론의 열화 (Temporal Reasoning Degradation):
VQA 태스크에서 전체 평균 정확도는 **28.5% (1.43/5.0)**에 불과했습니다.
시간적 열화 현상: 스토리가 진행될수록 (챕터 11 로 갈수록) 모델의 성능이 급격히 하락했습니다. 이는 모델이 장편 서사의 복잡성이 누적됨에 따라 맥락을 잃어버린다는 것을 의미합니다.
예상치 못한 패턴: 2 장 누락보다 3 장 누락 상황에서 모델이 더 잘 추론하는 등, 비선형적 추론에서 비직관적인 패턴이 관찰되었습니다.
서사적 불연속성 (Semantic Discontinuity):
비전 인코더 (CLIP, SIGLIP 등) 가 연속된 만화 페이지 간의 시맨틱 유사성을 유지하지 못했습니다. 특히 대화 중심의 장면보다 액션 장면에서 더 나은 성능을 보였으나, 전반적으로 페이지 간 의미적 연결 고리가 약했습니다.
RAG (검색 증강 생성) 의 한계: 외부 지식을 추가해도 시간적 추론 실패가 해결되지 않아, 이는 단순한 지식 부족이 아닌 아키텍처적 한계임을 시사합니다.
4. 주요 기여 (Key Contributions)
Re:Verse 벤치마크 도입: 장편 만화 서사 이해를 평가하는 최초의 벤치마크. 308 개의 주석된 패널과 정렬된 텍스트를 제공하여 장편 서사 이해의 체계적 평가를 가능하게 함.
포괄적인 평가 수행: 스토리 생성, 대화 귀속, 시간적 추론 등 3 가지 난이도 높은 태스크를 통해 최신 VLM 의 근본적인 한계를 규명.
새로운 평가 방법론 제안: 이진법 (Pass/Fail) 이 아닌 비례적 페널티 시스템과 상태 기반 점수화를 도입하여 서사 품질의 미세한 차이를 정량화.
추론 간극 (Inferent Gap) 의 정량적 증명: 중간 페이지 예측 등을 통해 VLM 이 연속된 시각적 서사 구조를 처리하는 데 있어 필수적인 추론 능력이 결여되어 있음을 수치적으로 입증.
5. 의의 및 결론 (Significance & Conclusion)
연구적 의의: 이 연구는 VLM 이 단순한 이미지 인식 단계를 넘어, **이산적 시간 구조 (Discrete Temporal Structure)**를 가진 시각적 서사 (만화, 코믹스) 를 이해하는 데 있어 근본적인 아키텍처적 결함이 있음을 최초로 체계적으로 증명했습니다.
실용적 의의: 만화 및 코믹스라는 문화적으로 중요한 시각 매체를 이해하는 AI 개발의 기초를 마련했습니다. 이는 디지털 인문학 연구, 창작 보조 도구, 교육용 도구 등 다양한 분야에 적용 가능한 맥락 인식형 AI 개발의 방향성을 제시합니다.
향후 방향: 현재 모델들은 패널을 독립적인 단위로 처리하는 경향이 강하므로, 장편 서사의 일관성을 유지하고 시간적 인과관계를 추론할 수 있는 새로운 아키텍처 및 학습 전략이 필요함을 강조합니다.
요약하자면, Re:Verse는 "현재의 VLM 은 만화를 읽을 수 있는가?"라는 질문에 **"표면적인 텍스트와 이미지는 읽을 수 있으나, 스토리의 흐름과 인과관계를 이해하지는 못한다"**는 명확한 결론을 내리며, 향후 시각적 서사 이해 모델 개발을 위한 중요한 기준점을 제시합니다.