AI Blob! LLM-Driven Recontextualization of Italian Television Archives

이 논문은 1989 년부터 방영된 이탈리아 TV 프로그램 '블롭 (Blob)'의 편집 철학에서 영감을 받아, 자동 음성 인식과 대규모 언어 모델 (LLM) 을 활용하여 아카이브 영상 데이터를 의미론적으로 재구성하고 새로운 내러티브를 생성하는 실험적 시스템 'AI Blob!'을 소개합니다.

핵심

📺 1. 프로젝트의 영감: "Blob"이라는 TV 쇼

이 프로젝트의 이름은 이탈리아의 전설적인 TV 쇼 ****에서 따왔습니다.

• Blob 이란? 이 쇼는 옛날 TV 방송 기록을 무작위로 잘라내어, 서로 전혀 상관없어 보이는 장면들을 이어붙였습니다. 예를 들어, 진지한 뉴스 앵커가 웃긴 말을 하거나, 정치인이 엉뚱한 장면을 배경으로 등장하게 만들어 아이러니와 풍자를 자아냈죠.
• AI Blob! 의 목표: 사람이 직접 자르고 붙이는 대신, 인공지능 (AI) 이 그 역할을 대신해서 새로운 유머와 풍자를 찾아내는 것입니다.

🧠 2. 어떻게 작동할까요? (3 단계 과정)

이 시스템은 마치 거대한 도서관의 사서가 되는데, 단순히 책 제목만 보는 게 아니라 책의 내용과 뉘앙스까지 이해합니다.

1 단계: 도서관 정리하기 (데이터 준비)

• 상황: 이탈리아 TV 방송 기록 1,547 개가 흩어져 있습니다.
• 작업: AI 는 이 모든 방송의 대본을 자동으로 받아 적습니다 (음성 인식). 그리고 문장 하나하나를 잘게 쪼개서 **수십만 개의 '의미 있는 조각'**으로 만듭니다.
• 비유: 거대한 TV 기록을 수십만 개의 레고 블록으로 분해한 것과 같습니다. 이제 이 블록들은 내용별로 정리되어 있습니다.

2 단계: 주제 정하기와 블록 찾기 (검색과 생성)

• 상황: 사용자가 "정치인"이나 "기후 변화" 같은 주제를 입력합니다.
• 작업: AI 는 그 주제에 대해 아이러니하거나 웃긴 관점을 먼저 생각해냅니다. (예: "진지한 정치인이 엉뚱한 말을 할 때") 그리고 그 관점에 맞는 레고 블록 (문장) 들을 도서관에서 찾아냅니다.
• 특이점: 단순히 '정치인'이라는 단어가 포함된 것만 찾는 게 아니라, **"이 문장을 다른 맥락에서 보면 얼마나 웃기거나 모순적인가?"**를 계산합니다.

3 단계: 새로운 영화 만들기 (편집과 구성)

• 상황: 찾은 블록들을 이어붙여야 합니다.
• 작업: AI 는 이 블록들을 서사적 구조에 맞춰 배열합니다.
  1. 도입부: 주제에 맞는 진지한 문장으로 시작.
  2. 전개: 점점 더 아이러니한 문장으로 긴장감을 높임.
  3. 절정 (클라이맥스): 가장 웃기고 모순적인 문장으로 폭발!
  4. 결말: 다시 차분하게 마무리.
• 결과: 이렇게 배열된 문장에 해당하는 옛날 TV 영상 조각들을 찾아서 이어 붙이면, 완전히 새로운 유머 영상이 탄생합니다.

🛠 3. 사용된 기술 (간단히)

• LLM (대형 언어 모델): AI 의 '두뇌'입니다. 문장의 의미를 이해하고, 어떤 조합이 가장 웃길지 창의적으로 생각합니다.
• 벡터 데이터베이스: 문장을 숫자 지도로 변환해, "비슷한 의미"를 가진 문장을 빠르게 찾아주는 거대한 창고입니다.
• RAG (검색 증강 생성): AI 가 허구적인 이야기를 지어내는 게 아니라, 실제 TV 기록에서 찾아온 사실적인 조각들을 바탕으로 이야기를 만듭니다.

⚠️ 4. 아직 부족한 점 (한계)

이 프로젝트는 아직 완벽하지 않습니다.

• 눈이 보이지 않음: 현재 AI 는 '대본 (텍스트)'만 보고 편집합니다. TV 의 핵심인 '화면 (시각적 요소)'의 아이러니는 아직 잘 못 잡습니다. (예: 진지한 표정으로 웃긴 말을 하는 장면은 텍스트만으로는 알기 어렵죠.)
• 데이터 부족: 1,500 개 정도의 영상은 거대한 TV 역사에 비하면 아주 작은 조각일 뿐입니다. 더 많은 데이터가 필요하면 더 정교한 풍자가 가능해집니다.

🚀 5. 결론: 왜 중요한가요?

이 프로젝트는 단순한 검색을 넘어, AI 가 과거의 기록을 '재해석'하고 '창조'할 수 있음을 보여줍니다.

• 역사학자에게는 새로운 연구 도구가 되고,
• 예술가에게는 새로운 창작 파트너가 될 수 있습니다.

요약하자면, AI Blob! 은 과거의 TV 기록이라는 거대한 보물창고에서, AI 가 유머 감각을 발휘해 우리가 몰랐던 새로운 이야기를 찾아내는 마법 같은 실험입니다.

기술 요약

논문 요약: AI Blob! - 이탈리아 TV 아카이브의 LLM 기반 재맥락화

1. 문제 제기 (Problem)

전통적인 아카이브 검색 및 카탈로그 방식은 주로 메타데이터 (태그, 제목, 날짜 등) 에 의존하여, 콘텐츠의 실제 의미나 문맥을 파악하는 데 한계가 있었습니다. 또한, 기존 AI 를 활용한 아카이브 재사용 프로젝트 (예: BBC 의 'Made by Machine') 는 단순한 키워드 매칭이나 표면적 유사성에 기반하여 클립을 편집했기 때문에, 깊은 문맥적 이해나 아이러니한 대조 (ironic juxtaposition) 와 같은 창의적인 서사 구성이 부족했습니다. 이탈리아의 전설적인 TV 프로그램 'Blob'이 보여주었듯, 아카이브 영상을 재편집하여 사회적 풍자나 아이러니를 드러내는 작업은 인간의 편집자 개입이 필수적이었으며, 이를 자동화하고 확장할 수 있는 기술적 프레임워크가 필요했습니다.

2. 방법론 (Methodology)

이 연구는 **AI Blob!**이라는 실험적 시스템을 개발하여, 대규모 언어 모델 (LLM) 과 검색 증강 생성 (RAG) 기술을 활용하여 TV 아카이브를 동적으로 재맥락화합니다. 전체 프로세스는 다음과 같은 단계로 구성됩니다.

• 데이터셋 구축:
  • ITTV 데이터셋과 유튜브 채널 'Indimenticabile TV'에서 총 1,547 개의 이탈리아 TV 영상을 수집했습니다.
  • 비이탈리아어 콘텐츠를 필터링하기 위해 FastText 모델을 사용했습니다.
• 전사 및 임베딩 (Transcription & Embedding):
  • WhisperX를 사용하여 오디오를 텍스트로 전사하고, 정확한 단어 타임스탬프를 매핑했습니다.
  • 전사된 텍스트는 Punkt Sentence Tokenizer와 xlm-roberta 기반의 Transformer 모델을 통해 문장 단위로 정제되었습니다.
  • 총 212,696 개의 고유한 문장을 Cohere 의 Embed Multilingual V3 모델을 사용하여 벡터 임베딩으로 변환하고, ChromaDB 벡터 데이터베이스에 저장했습니다.
• 내러티브 구성 알고리즘 (Narrative Construction):
  1. 주제 탐색 및 쿼리 생성: 사용자가 입력한 주제 (예: "정치", "환경") 를 바탕으로 LLM 이 아이러니하거나 역설적인 관점을 가진 여러 검색어 (queries) 를 생성합니다.
  2. 의미론적 검색 (Semantic Retrieval): 생성된 쿼리로 벡터 DB 에서 관련 문장을 검색합니다. 중복을 피하기 위해 이전 쿼리에서 선택된 문장은 제외됩니다.
  3. 평가 및 필터링: LLM 이 각 문장에 대해 두 가지 점수를 부여합니다.
     • 아이러니 점수 (Irony Score): 문맥에서 분리되었을 때의 아이러니, 유머, 모순 정도 (1~10 점).
     • 주제 관련성 점수 (Relevance Score): 전체 주제와의 개념적 일치도 (1~10 점).
     • 두 점수 중 하나라도 임계값을 넘으면 해당 문장을 유지합니다.
  4. 알고리즘적 서사 분할 (Narrative Segmentation): 유지된 문장들을 점수 분포에 따라 4 가지 서사 구간으로 자동 분류합니다.
     • 서론 (Introduction): 낮은 아이러니, 높은 주제 관련성.
     • 전개 (Build-up): 아이러니 점수가 점진적으로 상승.
     • 절정 (Climax): 가장 높은 아이러니 점수 (극단적 모순).
     • 결론 (Conclusion): 조절된 아이러니와 요약적 코멘트.
  5. 순서 재배치 및 조립: 각 구간 내에서 LLM 이 문장들을 아이러니와 의미적 대비를 극대화하도록 순서를 재배열합니다.
  6. 최종 비디오 생성: 타임스탬프를 기반으로 원본 영상을 추출하고, 오디오 페이드 인/아웃 효과와 정규화를 적용하여 하나의 연속된 montages(몽타주) 비디오로 합성합니다.

3. 주요 기여 (Key Contributions)

• 동적 재맥락화 시스템: 정적인 메타데이터 검색을 넘어, LLM 의 생성 능력과 의미론적 검색을 결합하여 아카이브 콘텐츠를 풍자적이고 창의적인 서사로 자동 재구성하는 최초의 시스템 중 하나입니다.
• 공개 데이터셋 및 도구: 1,547 개의 전사된 영상, 21 만 개 이상의 문장 임베딩, 그리고 채워진 벡터 스토어를 포함한 데이터셋을 Zenodo 를 통해 공개했습니다. 또한, 소스 코드 (GitHub) 와 생성된 비디오 예시 (YouTube) 를 공개하여 학계의 추가 실험을 장려합니다.
• 방법론적 혁신: 'Blob' 프로그램의 편집 철학 (아이러니한 juxtaposition) 을 계산적 알고리즘으로 구현한 구체적인 프레임워크를 제시했습니다.

4. 결과 및 성과 (Results)

• 시스템은 사용자 입력 주제에 따라 다양한 아이러니와 풍자가 담긴 몽타주 비디오를 성공적으로 생성했습니다.
• LLM 이 생성한 검색어와 필터링 로직을 통해, 단순한 키워드 매칭으로는 찾을 수 없었던 개념적 연결고리와 문맥적 모순을 효과적으로 포착하여 서사적 긴장감을 조성했습니다.
• 공개된 데이터셋은 미디어 역사 연구 (Media Historiography) 와 AI 기반 아카이브 연구 분야에서 새로운 실험의 토대를 마련했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의: 이 연구는 AI 가 단순한 검색 도구를 넘어, 아카이브 자료를 비판적으로 해석하고 새로운 서사를 창조하는 '창의적 파트너'로 기능할 수 있음을 입증했습니다. 이는 미디어 역사학에서 AI 의 역할을 재정의하며, 인간 편집자와 AI 의 협업 모델을 제시합니다.
• 한계:
  • 단일 모드 분석: 현재 시스템은 텍스트 (음성 전사) 에만 의존하여 시각적 요소 (화면 구성, 표정, 영상적 아이러니) 를 고려하지 못합니다. 이는 'Blob'의 핵심인 오디오 - 비주얼 아이러니를 완벽히 재현하는 데 걸림돌이 됩니다.
  • 정확도 문제: ASR 의 단어 정렬 오차로 인해 텍스트와 영상의 불일치가 발생할 수 있습니다.
  • 데이터 크기: 1,547 개의 영상은 방대한 TV 아카이브에 비해 상대적으로 작아, 특정 주제의 심층적 풍자 구성에 한계가 있을 수 있습니다.
• 향후 과제: 멀티모달 임베딩 (이미지 + 텍스트) 도입, 데이터셋 확장, 그리고 순차적 서사 구성을 위한 더 정교한 검색 전략 개발이 필요합니다.

결론적으로, AI Blob!은 AI 기술을 활용하여 아카이브의 정적인 기록을 역동적이고 비판적인 문화 분석 도구로 전환하는 중요한 시도로 평가됩니다.