💬 NLP

Agenda-based Narrative Extraction: Steering Pathfinding Algorithms with Large Language Models

이 논문은 대규모 언어 모델을 활용하여 사용자 지정 의도에 맞춰 이야기 경로를 유도하면서도 서사적 일관성을 유지하는 '의제 기반 서사 추출' 방법을 제안하고, 이를 통해 기존 방법론의 한계를 극복하고 다양한 관점의 일관된 스토리라인을 생성할 수 있음을 실증했습니다.

원저자: Brian Felipe Keith-Norambuena, Carolina Inés Rojas-Córdova, Claudio Juvenal Meneses-Villegas, Elizabeth Johanna Lam-Esquenazi, Angélica María Flores-Bustos, Ignacio Alejandro Molina-Villablanca, Joshu

게시일 2026-04-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Brian Felipe Keith-Norambuena, Carolina Inés Rojas-Córdova, Claudio Juvenal Meneses-Villegas, Elizabeth Johanna Lam-Esquenazi, Angélica María Flores-Bustos, Ignacio Alejandro Molina-Villablanca, Joshua Emanuel Leyton-Vallejos

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 "뉴스나 문서 뭉치에서 이야기를 만들 때, 우리가 원하는 관점을 어떻게 자연스럽게 녹여낼 수 있을까?" 라는 질문에 대한 답을 제시합니다.

기존의 방법들은 두 가지 큰 문제 중 하나를 겪고 있었습니다.

너무 딱딱한 방법: 이야기의 흐름이 매우 매끄럽고 논리적이지만, 사용자가 "나는 이 부분만 보고 싶어"라고 말해도 들어주지 않습니다. (예: Narrative Trails)
너무 자유로운 방법: 사용자의 요구를 들어주기는 하지만, 이야기가 산만해지고 논리가 깨질 수 있습니다. (예: Narrative Maps)

저자들은 이 두 가지 장점을 합친 새로운 방법, '의제 기반 이야기 추출 (Agenda-based Narrative Extraction)' 을 제안했습니다. 이를 쉽게 이해할 수 있도록 세 가지 비유로 설명해 드리겠습니다.

1. 비유: "스마트한 가이드" vs "고정된 지도"

기존의 방법 (고정된 지도):
마치 자동 항법 시스템이 있습니다. A 지점에서 B 지점으로 갈 때, 가장 안전하고 빠른 길 (가장 논리적인 길) 을 찾아줍니다. 하지만 "나는沿途에 있는 꽃밭만 보고 가자"라고 요청하면, 시스템은 "그건 경로에 없으니 못 가요"라고 거절합니다.

새로운 방법 (스마트한 가이드):
이제 LLM(거대 언어 모델) 이라는 똑똑한 가이드가 동행합니다.

시나리오: 여러분이 "나는 '정부의 탄압'에 초점을 맞춘 이야기를 듣고 싶어"라고 가이드에게 말합니다.
작동 원리: 가이드는 수많은 뉴스 기사 (문서) 중에서 논리적으로 다음 단계로 이어지는 길목에 서 있는 후보들을 봅니다. 그리고 그중에서 여러분의 요청 (의제) 에 가장 잘 맞는 기사를 골라 길을 안내합니다.
결과: 같은 출발점과 도착점이라도, "정부 탄압"을 원하면 경찰의 진압 기사를, "시민의 자유"를 원하면 시위대의 요구를 담은 기사를 선택하여 전혀 다른 이야기를 만들어냅니다.

2. 비유: "요리사"와 "재료장"

이 연구는 **수천 개의 뉴스 기사 (재료)**가 쌓인 창고에서 **요리 (이야기)**를 만드는 과정입니다.

기존 방식: 가장 신선하고 잘 어울리는 재료들만 골라 최고의 스테이크를 만듭니다. 하지만 "소금기 없는 요리"를 원한다고 해도, 스테이크의 기본 맛을 바꾸지 못합니다.
새로운 방식 (LLM 가이드): 요리사 (LLM) 가 "오늘은 매콤한 국물을 만들고 싶어"라고 주문합니다.
- 요리사는 재료장 (창고) 을 훑어보며, 논리적으로 다음 단계에 들어갈 수 있는 재료들 중 매운 고추나 마늘이 들어간 것들을 우선적으로 고릅니다.
- 만약 "매운 국물"을 원하는데 창고에 매운 재료가 전혀 없다면? 요리사는 **"그건 만들 수 없어"**라고 말합니다. (이 논문은 이 부분이 매우 중요하다고 강조합니다. 거짓말을 하거나 없는 사실을 만들어내지는 않습니다.)

3. 핵심 발견: "진실은 변하지 않는다"

이 연구에서 가장 흥미로운 점은 LLM 이 아무리 열심히 길을 안내해도, 원재료 (뉴스 기사) 에 없는 내용을 만들어낼 수는 없다는 사실입니다.

실험: 연구진은 "정부는 인기가 많다"라는 거짓된 의제를 주어보았습니다.
결과: 모든 방법 (기존 방식 포함) 이 실패했습니다. 실제로는 시위가 일어나고 정부가 비판받고 있는 뉴스만 쌓여있기 때문에, 아무리 LLM 이 노력해도 "정부가 인기 있다"는 이야기를 논리적으로 이어갈 수 없었던 것입니다.
의미: 이 기술은 기존에 있는 사실을 다른 각도로 조명할 수는 있지만, 없는 사실을捏造 (조작) 하지는 않습니다.

4. 결론: "조금의 희생"으로 얻은 "큰 자유"

이 새로운 방법은 완벽한 논리 (일관성) 를 100% 유지하는 대신, 약 2.2% 만큼의 논리 점수만 살짝 낮춥니다. (예: 100 점 만점에 97.8 점)
하지만 그 대가로 사용자가 원하는 관점을 10% 이상 더 잘 반영할 수 있게 되었습니다.

한 줄 요약:

"이 기술은 **똑똑한 가이드 (LLM)**를 붙여서, 같은 뉴스 뭉치에서도 **사용자가 원하는 관점 (의제)**에 맞춰 논리적으로 끊어지지 않는 새로운 이야기를 만들어줍니다. 다만, 가이드가 아무리 노력해도 원래 뉴스에 없는 거짓말은 만들어내지 못합니다."

이 방법은 뉴스 요약, 정보 분석, 혹은 복잡한 사건을 다양한 시각에서 이해하고 싶을 때 매우 유용하게 쓰일 수 있습니다.

1. 연구 배경 및 문제 정의 (Problem)

기존의 문서 집합에서 서사 (Narrative) 를 추출하는 방법론들은 일관성 (Coherence), 상호작용성 (Interactivity), 다중 스토리라인 지원 (Multi-storyline Support) 사이의 트레이드오프에 직면해 있습니다.

Narrative Maps: 풍부한 상호작용과 다중 스토리라인 생성이 가능하지만, 개별 경로의 일관성이 낮아질 수 있습니다.
Narrative Trails: 최대 용량 경로 (Maximum Capacity Path) 최적화를 통해 매우 높은 일관성을 보장하지만, 사용자의 관점을 반영하거나 대안적인 시각을 제공하는 메커니즘이 부재합니다.
핵심 문제: 사용자의 특정 관점 (Agenda) 을 반영하면서도 서사의 일관성을 유지하는 서사 추출 방법론이 부족합니다.

2. 제안 방법론: 의제 기반 서사 추출 (Agenda-based Narrative Extraction)

저자들은 대규모 언어 모델 (LLM) 을 Narrative Trails 의 경로 탐색 알고리즘에 통합하여, 사용자가 지정한 관점 (의제) 에 맞춰 스토리라인을 유도하는 새로운 방법을 제안합니다.

2.1. 기본 프레임워크 (Coherence Graph)

문서 임베딩: 문서들을 Sentence-BERT 로 임베딩한 후, 차원의 저주를 피하고 시각화를 위해 UMAP 을 통해 2 차원으로 투영합니다.
클러스터링: HDBSCAN 을 사용하여 2D 공간에서 문서의 주제별 소속 확률 분포를 계산합니다.
일관성 그래프 (Coherence Graph): 문서 간 시간적 순서를 유지하며 (DAG), 인접 문서 간의 공간적 유사성과 주제적 유사성 (Jensen-Shannon Divergence 기반) 을 결합한 가중치를 부여합니다.
경로 탐색: 기존 Narrative Trails 는 '병목 (Bottleneck)' 가중치를 최대화하는 경로를 찾습니다.

2.2. 의제 주도 경로 탐색 (Agenda-Driven Pathfinding)

기존 알고리즘의 핵심 수정점은 후보 문서 선정 단계에 있습니다.

Top-k 후보 선정: 현재 노드에서 다음 단계로 이동할 수 있는 가장 일관성이 높은 $k$ 개의 이웃 노드를 선별합니다.
LLM 기반 순위 매기기: 선별된 $k$ $k$ 개의 후보 문서에 대해 LLM 을 호출하여, 주어진 **의제 (Agenda)**와 얼마나 잘 부합하는지 순위를 매기게 합니다.
- 프롬프트: 의제 설명, 현재까지의 서사 맥락, 현재/목표 문서 제목, 후보 문서 제목들을 포함합니다.
- 출력: JSON 형식의 순위 목록.
우선순위 큐 업데이트: LLM 의 순위가 높은 문서가 우선순위 큐에 먼저 삽입되어 탐색됩니다.
백트래킹: 최상위 후보가 막다른 길로 이어지거나 병목이 발생할 경우, 하위 순위 후보들을 통해 탐색을 계속할 수 있습니다.

3. 평가 프레임워크 및 실험 설정

데이터셋: 2021 년 쿠바 시위 관련 뉴스 기사 418 건 (2020 년 12 월~2021 년 말).
의제 (Agenda) 정의:
- 단순 의제 (Simple): 텍스트에 키워드가 그대로 등장 (예: "자유 봉기", "디아스포라 연대").
- 의미론적 의제 (Semantic): 키워드 매칭이 아닌 추론이 필요 (예: "정권 탄압", "정부 검열").
- 반대 의제 (Counter): 원문 자료와 모순되는 주장 (예: "시위 실패", "정권 지지").
평가자 (Judges): Claude Opus 4.5 와 GPT 5.1 두 개의 최첨단 LLM 을 사용하여 일관성과 **의제 정렬도 (Alignment)**를 1~10 점 척도로 평가했습니다.
비교 대상:
- Maximum Capacity: 의제 고려 없이 순수 일관성만 최적화 (Baseline).
- Keyword Matching: TF-IDF 기반 키워드 일치도 + 일관성 점수 혼합.

4. 주요 결과 (Results)

4.1. 의제 정렬도 (Alignment)

의미론적 의제: LLM 기반 조종이 키워드 매칭보다 9.9% 더 높은 정렬도를 보였습니다 (통계적 유의성 $p=0.017$ ). 특히 "정권 탄압 (Regime Crackdown)" 의제에서는 13.3% 향상 ( $p=0.037$ ) 을 기록했습니다. 이는 LLM 이 '구속', '경찰 투입' 등의 표현이 '폭력적 탄압'이라는 의제와 연결됨을 이해했기 때문입니다.
단순 의제: 키워드가 텍스트에 명시적으로 포함된 경우, 키워드 매칭이 LLM 과 유사하거나 더 나은 성능을 보였습니다.
반대 의제: 모든 방법론이 반대 의제 (원문과 모순되는 내용) 에 대해 매우 낮은 점수 (2.2~2.5) 를 기록했습니다. 이는 알고리즘이 데이터에 존재하지 않는 사실을 **창조 (Fabricate)**할 수 없음을 의미합니다.

4.2. 일관성 비용 (Coherence Cost)

LLM 기반 조종은 의제 무관성 Baseline 대비 일관성을 2.2% 만 감소시켰습니다 (6.33 점 $\to$ 6.19 점).
일관성과 정렬도 간의 상관관계는 약 ( $r \approx 0.10$ ) 하여, 높은 정렬도를 얻기 위해 일관성을 크게 희생하지 않아도 됨을 시사합니다.

4.3. 민감도 분석

Chain-of-Thought (CoT): 단계별 추론을 요구하는 CoT 프롬프트를 사용하면 정렬도가 25.7% 증가했으나, 처리 시간이 5 배 증가했습니다.
하이퍼파라미터: 후보군 크기 ( $k$ ), 온도 (Temperature), 모델 크기 변화에 따라 일관성은 안정적이었으나, CoT 프롬프트가 문서 선택에 가장 큰 영향을 미쳤습니다.

5. 주요 기여 및 의의 (Contributions & Significance)

트레이드오프 해소: 사용자의 상호작용 (의제 입력) 과 서사의 일관성을 동시에 달성하는 새로운 패러다임을 제시했습니다. Narrative Maps 의 상호작용성과 Narrative Trails 의 일관성을 결합합니다.
다중 관점 탐색: 동일한 코퍼스 (Corpus) 에서 의제만 변경하면 완전히 다른 스토리라인을 생성할 수 있어, 사용자는 동일한 사건을 다양한 각도에서 탐구할 수 있습니다.
LLM 의 역할 전환: LLM 을 단순한 요약 도구가 아닌, **경로 탐색 알고리즘의 지향점 (Steering Mechanism)**으로 활용하여 의미론적 연결을 통해 문서를 선별하는 방식을 입증했습니다.
윤리적 한계 확인: 데이터에 존재하지 않는 사실을 만들어낼 수 없다는 점 (Counter-agenda 결과) 을 통해, 이 기술이 편향을 증폭시킬 수는 있으나 허위 사실을 생성하지는 않는다는 한계를 명확히 했습니다.

6. 결론

이 연구는 LLM 을 경로 탐색 알고리즘에 통합하여 자연어 기반 의제로 서사를 유도하는 의제 기반 서사 추출 방법을 제안했습니다. 실험 결과, 의미론적 의제에 대해 키워드 매칭보다 월등히 높은 정렬도를 달성하면서도 일관성 손실은 미미함을 입증했습니다. 이는 뉴스 요약, 정보 분석, 그리고 다중 관점 기반의 정보 탐색 시스템 개발에 중요한 기여를 합니다.