What Gets Lost When Memory Becomes Media? Evaluating AI-Generated Oral History Visualization

당신이 카메라를 든 시간 여행자라고 상상해 보세요. 하지만 당신은 현재의 순간을 포착하는 대신, 다른 사람의 과거로부터 기억을 포착하려 합니다. 이것은 구술사(oral history)라는 까다로운 세계입니다. 이곳에서 사람들은 수십 년 전의 삶에 대해 이야기를 들려줍니다. 문제는 인간의 기억이 무질서하고, 감정적이며, "무슨 일이 일어났는가"와 "그때 기분이 어떠했는가" 사이를 끊임없이 오간다는 점입니다. 우리가 이 말로 된 이야기들을 그림이나 영상으로 바꾸려 할 때, 우리는 마법 같은 기술을 부려야 합니다. 바로 1인칭의 목소리("나는 무서웠다")를 3인칭의 장면("한 사람이 달리고 있다")으로 변환해야 하는 것이죠.

여기에 텍스트로부터 이미지를 만들어내는 디지털 예술가, 생성형 AI(Generative AI)가 등장합니다. 하지만 문제는 AI가 보기 좋게 만드는 데는 뛰어나지만, 가짜를 만들어내는 데도 매우 능숙하다는 점입니다. 만약 당신이 AI에게 "슬픈 난민"을 그려달라고 요청한다면, AI는 그저 수많은 영화에서 보았던 것처럼 어두운 방 안에 있는 일반적인 슬픈 표정의 사람을 보여줄 뿐일 것입니다. 하지만 실제 이야기는 특정한 빨간 배낭, 고장 난 시계, 혹은 1980년대 서울의 특정한 길모퉁이에 관한 것일 수도 있습니다. 과학자들의 큰 질문은 이것입니다. 우리가 AI를 통해 기억을 그림으로 바꿀 때, 실제 이야기의 어떤 부분이 사라지고 어떤 부분이 가짜로 채워지는가?

이 논문은 바로 그 질문을 깊이 파고듭니다. 연구진은 디아스포라 공동체(고국을 떠나 이동한 사람들) 출신 사람들의 실제 인터뷰 82개를 바탕으로 시각적 이야기를 요리할 두 가지 서로 다른 "AI 셰프"를 만들었습니다. SSP라고 불리는 한 셰프는 전체 이야기를 하나의 매끄럽고 연속적인 단락으로 요약한 뒤 그림을 그립니다. 다른 셰프인 MAS는 그림을 그리기 전에 이야기를 마치 만화책처럼 작고 분리된 장면들로 먼저 나눕니다. 그들은 어떤 셰프가 실제 기억의 "풍미"를 유지하는지, 아니면 원래의 재료와는 상관없는 그냥 맛있어 보이기만 하는 일반적인 음식을 내놓는지 확인하고자 했습니다.

위대한 AI 예술 대결

연구진은 거대한 맛 테스트를 준비했습니다. 그들은 82개의 인터뷰를 가져와 각각 약 1시간 분량의 핵심적인 3분 구간을 선정했습니다. 그런 다음 이 이야기들을 SSP(단일 요약 파이프라인)와 MAS(다중 에이전트 장면 분해 파이프라인) 시스템에 입력했습니다. 두 시스템 모두 이야기의 흐름을 보여주는 6개의 이미지 시퀀스를 만드는 과제를 부여받았습니다.

결과를 판정하기 위해 연구진은 단순히 "예쁜가?"라고 묻지 않았습니다. 그들은 구술사의 규칙에 기반한 15가지의 엄격한 지표를 담은 채점표를 만들었습니다. 그들은 AI가 실수할 수 있는 세 가지 주요 방식을 관찰했습니다:

1. 전이 소멸(Transition Dissolution): AI가 이야기의 도약(jumps)을 너무 매끄럽게 다듬어서, 뚜렷한 순간들이 지루한 흐릿함 속으로 섞여 버리지는 않았는가?
2. 일반화(Genericization): AI가 구체적인 세부 사항(예: "파란색 1990년대 재킷")을 상투적인 표현(예: "일반적인 슬픈 사람")으로 대체하지는 않았는가?
3. 보존 손상(Preservation Damage): AI가 사실 관계나 인물의 정체성, 혹은 타임라인을 바꾸지는 않았는가?

놀라운 결과: 승자가 아닌 트레이드오프(Trade-Off)

반전이 있었습니다. 단 하나의 "최고" 시스템은 없었습니다. 대신 연구진은 마치 시소와 같은 구조적 갈등을 발견했습니다.

• MAS 셰프 (만화책 방식): 이 시스템은 이야기를 뚜렷한 장면들로 나누는 데 탁랄했습니다. 기억의 "질감"을 살려내어 일반적인 상투성을 피하고 구체적인 세부 사항을 보여주었습니다. 하지만 그 과정에서 종종 이야기의 전체적인 흐름을 약화시켰습니다. 이는 마치 개별 칸은 훌륭하지만, 캐릭터가 A 지점에서 B 지점으로 어떻게 이동했는지 알 수 없을 정도로 이야기가 툭툭 끊기는 만화책과 같았습니다.
• SSP 셰프 (요약 방식): 이 시스템은 서사의 흐름을 완벽하게 유지했습니다. 이야기는 시작부터 끝까지 매끄럽게 움직였고, 큰 그림과 감정적 곡선을 보존했습니다. 하지만 모든 것을 매끄럽게 유지하려다 보니, 때때로 구체적인 감각적 세부 사항을 놓쳐서 이미지가 다소 일반적이거나 "스톡 사진"처럼 느껴지게 만들었습니다.

데이터에 따르면, 약 **68.6%**의 경우 당신은 선택해야 했습니다. 더 나은 장면의 디테일(MAS)을 가질 것인가, 아니면 더 나은 이야기의 흐름(SSP)을 가질 것인가를 말입니다. 두 가지를 동시에 갖추기는 매우 어려웠습니다.

비밀 재료: 이야기가 전달되는 방식

가장 흥릿한 발견은 왜 이런 트레이드오프가 발생하는지에 대한 것이었습니다. 연구진은 그 답이 원래의 이야기 자체에 있다는 것을 발견했습니다.

그들은 인터뷰의 "서사 구조 강도(narrative-structure strength)"를 측정했습니다.

• 강한 이야기: 만약 이야기를 하는 사람이 매우 명확하고 논리적인 사건의 사슬(예: "집을 떠났다, 그다음 길을 잃었다, 그다음 도움을 받았다")을 가지고 있다면, SSP 시스템이 이미 훌륭한 역할을 하고 있었습니다. 이런 강한 이야기에 MAS 시스템을 사용하면 오히려 결과에 해가 되었습니다. 이는 마치 잘 쓰인 소설을 가져다가 아주 작은, 서로 연결되지 않는 문장들로 조각내는 것과 같았으며, 그 과정에서 마법을 깨뜨려 버렸습니다.
• 약한 이야기: 만로 원래의 이야기가 다소 횡설수설하거나, 감정적이거나, 따라가기 어렵다면, SSP 시스템은 이를 이해하는 데 어려움을 겪었습니다. 이런 경우, MAS 시스템이 영웅이 되었습니다. 이야기를 관리 가능한 작은 장면들로 나눔으로써, 오히려 구조를 재구성하는 데 도움을 주었고, 디테일과 흐름 모두를 개선했습니다.

해결책: 스마트 스위치

그렇다면 결론은 무엇일까요? 이 논문은 "라우팅 프로토콜(routing protocol)", 즉 AI 시스템을 위한 스마트 스위치를 제안합니다. 이미지를 생성하기 전에, 먼저 이야기의 구조가 얼마나 강한지 빠르게 체크해야 합니다.

• 만약 이야기가 강하고 명확하다면, 흐름을 매끄럽게 유지하기 위해 SSP(요약) 시스템을 사용하십시오.
• 만약 이야기가 횡설수설하거나 복잡하다면, 혼돈을 정리하는 데 도움이 되도록 MAS(장면 분해) 시스템을 사용하십시오.

연구진은 이 규칙을 82개의 인터뷰에 테스트하여, 이 간단한 규칙이 어떤 시스템이 가장 잘 작동할지 예측할 수 있다는 것을 발견했습니다. 그들은 모든 것을 해결하는 "마법의 탄환"을 찾지는 못했지만, 진실성을 유지하는 것과 멋지게 보여주는 것 사이의 긴장을 관리하는 방법을 찾아냈습니다.

이것이 왜 중요한가

이것은 단순히 예쁜 그림을 만드는 것에 관한 문제가 아닙니다. 고향을 떠나야 했던 공동체들에게 이러한 시각적 이야기는 텍스트만으로는 포착할 수 없는 역사를 보존하는 방법입니다. 만약 AI가 국경을 넘는 특정한 고통스러운 기억을 일반적인 슬픈 사람의 이미지로 바꿔버린다면, 그 사람은 자신의 경험에 대한 진실을 잃게 됩니다.

이 논문은 우리가 AI가 원하는 대로 하게 내버려 두어서는 안 된다고 제指摘합니다. 우리는 먼저 이야기의 "구조"를 확인하고, 도구를 현명하게 선택해야 합니다. 이는 AI 시대에도 인간적인 요소, 즉 우리가 이야기를 전달하는 무질서하고, 구체적이며, 때로는 혼란스러운 방식이 여전히 가장 중요한 레시피라는 점을 상기시켜 줍니다. AI는 단지 셰프일 뿐이며, 어떤 레시피를 요리할지 결정하는 것은 바로 우리 자신이어야 합니다.