Critical Confabulation: Can LLMs Hallucinate for Social Good?

이 논문은 사회적 불평등으로 인해 기록에서 누락된 '숨겨진 인물'들의 역사를 재구성하기 위해, LLM 의 환각을 의도적으로 활용하여 증거에 기반한 대안적 내러티브를 생성하는 '비판적 허구화 (critical confabulation)' 개념을 제안하고 이를 검증합니다.

핵심

이 논문은 **"대형 언어 모델 (LLM) 이 때로는 거짓말을 할 수 있지만, 그 거짓말이 오히려 사회에 큰 도움이 될 수 있다"**는 아주 흥미로운 주장을 펼칩니다.

기존에는 AI 가 사실을 왜곡하거나 없는 내용을 만들어내는 것을 '할루시네이션 (Hallucination, 환각)'이라 부르며 치명적인 오류로 여겼습니다. 하지만 이 연구팀은 이를 **'비판적 허구 (Critical Confabulation)'**라는 새로운 개념으로 재정의하며, AI 의 상상력을 역사적 공백을 메우는 도구로 활용하는 방법을 제안합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🕵️‍♀️ 1. 핵심 아이디어: "잃어버린 퍼즐 조각을 AI 가 상상력으로 채우기"

비유: 잃어버린 가족 사진 앨범
생각해 보세요. 우리 가족의 옛날 사진 앨범이 있는데, 할아버지 때의 사진이 유난히 많이 사라졌다고 가정해 봅시다. 그 이유는 과거의 불공정한 사회 구조 때문에 소수자의 기록이 의도적으로 지워졌거나, 기록 자체가 남기지 못했기 때문입니다.

• 기존의 AI: "저는 그 사진이 없으니, 아무것도 모릅니다."라고 정직하게 말하며 빈칸을 남겨둡니다.
• 이 연구의 AI (비판적 허구): "사진은 없지만, 당시의 상황, 할아버지의 성격, 주변 환경 등을 바탕으로 **'아마도 이런 일이 있었을 것이다'**라는 그럴듯한 이야기를 만들어냅니다."

이때 AI 가 만드는 이야기는 **100% 진실은 아닐지라도, 역사적 맥락과 증거에 기반한 '가장 그럴듯한 시나리오'**입니다. 마치 detective 가 증거를 바탕으로 범인을 추리하듯, AI 가 기록의 빈칸을 채우는 것입니다.

📜 2. 왜 이런 연구가 필요한가요? (역사의 '침묵')

논문은 특히 흑인 역사나 소수자의 기록에서 이런 '빈칸'이 많다고 지적합니다.

• 역사적 불공정: 과거 노예 제도나 차별 때문에 많은 사람들의 이야기가 기록되지 않거나 지워졌습니다.
• 학자의 한계: 인간 학자들은 이 빈칸을 메우기 위해 엄청난 노력을 기울이지만, 기록이 너무 방대하고 조각조각 나 있어 모든 것을 찾아내는 것은 불가능에 가깝습니다.

이때 AI 는 거대한 기록을 빠르게 훑어보고, "여기서 뭔가 빠진 것 같아. 이럴 때 보통 이런 일이 일어났을 거야"라고 제안함으로써, 인간 학자가 더 깊이 연구할 수 있는 '후보 시나리오'를 만들어줍니다.

🧪 3. 실험: AI 가 얼마나 잘할까?

연구팀은 실제 역사 기록 (흑인 작가들의 미공개 원고 등) 을 바탕으로 실험을 진행했습니다.

• 방법: AI 에게 한 사람의 일대기 (타임라인) 를 주고, 그중 한 사건을 지워버린 뒤 (예: "1974 년, 경찰이 Tyrone Guyton 을 쏘았다. [이후의 사건은MASK]"), AI 가 그 빈칸을 채우게 했습니다.
• 결과:
  • AI 는 완전히 새로운 이야기를 지어내는 것이 아니라, 주변 맥락 (날짜, 인물 관계, 당시 사회 분위기) 을 잘 이해하고 그에 맞는 이야기를 만들어냈습니다.
  • 특히 **"역사학자처럼 행동하라"**거나 **"기록의 공백을 메워라"**라고 지시할 때 (프롬프트), AI 가 훨씬 더 잘했습니다.
  • 가장 잘한 모델은 약 60% 정도의 정확도로, 역사적 사실에 부합하는 이야기를 만들어냈습니다.

⚖️ 4. 중요한 점: "상상"과 "거짓말"의 차이

이 연구의 가장 중요한 점은 AI 가 무작정 거짓말을 하라는 것이 아니다는 것입니다.

• 경계 설정: AI 는 "증거가 없는 곳에서 완전히 새로운 사실을 invention(발명) 하라"는 것이 아니라, **"기록에 없는 부분을 맥락에 맞게 채워 넣으라"**는 것입니다.
• 윤리: 마치 소설가가 역사적 사실을 바탕으로 허구적 인물을 만들 때, 그 인물의 감정은 진실하듯, AI 도 기록의 빈칸을 채울 때 역사적 진실성에 어긋나지 않는 선에서 상상력을 발휘해야 합니다.

🚀 5. 결론: AI 는 역사학자의 '상상력 파트너'

이 논문은 AI 를 단순한 '사실 검색기'가 아니라, **문화와 역사를 이해하는 '창의적인 파트너'**로 바라보아야 한다고 말합니다.

• 사회적 가치: 기록에서 잊혀진 사람들 (Hidden Figures) 의 이야기를 다시 찾아내고, 그들의 삶을 더 풍부하게 재현하는 데 AI 가 기여할 수 있습니다.
• 미래: AI 가 만들어낸 '가상의 시나리오'를 인간 학자가 검증하고 수정하는 과정을 통해, 우리는 과거에 대해 더 깊고 포괄적인 이해를 얻을 수 있게 될 것입니다.

한 줄 요약:

"AI 가 때때로 만들어내는 '거짓말'을 잘 통제하면, 그것은 잃어버린 역사의 조각을 찾아주는 가장 강력한 상상력의 도구가 될 수 있습니다."

이 연구는 기술이 단순히 효율성을 높이는 것을 넘어, 인간이 잊고 지낸 이야기를 되살리는 '치유'의 도구가 될 수 있음을 보여줍니다.

기술 요약

1. 문제 정의 (Problem)

• 아카이브의 침묵과 편향: 역사적 기록 (아카이브) 은 종종 식민지주의, 노예제, 인종 차별 등의 구조적 폭력으로 인해 소수자나 '숨겨진 인물'들의 이야기가 체계적으로 누락되거나 왜곡되어 있습니다. 전통적인 실증주의 역사학은 기록의 유무가 진실의 척도라고 보지만, 이는 기록되지 않은 목소리를 영구적으로 침묵시키는 결과를 낳습니다.
• LLM 할루시네이션의 재해석: LLM 은 사실과 다른 내용을 생성하는 '할루시네이션' 경향이 있습니다. 기존 연구에서는 이를 결함으로 간주했으나, 저자들은 **비판적 허구화 (Critical Fabulation, Saidiya Hartman 의 개념에서 차용)**라는 개념을 도입하여, LLM 이 누락된 정보를 일관된 서사로 '채워 넣는' 능력을 사회적 복원 (reparative) 과 지식 생산에 활용할 수 있다고 주장합니다.
• 핵심 질문: LLM 이 아카이브의 공백을 채우는 과정에서, 어떻게 하면 사실성을 유지하면서도 창의적인 서사 복원이 가능한지, 그리고 이를 어떻게 평가할 수 있는가?

2. 방법론 (Methodology)

A. 데이터셋: Black Writing and Thought Collection (BWTC)

• 소스: 시카고대학교 ARTFL 프로젝트와 협력하여 구축된, 흑인 지성사와 스토리텔링 관련 미출간 1 차 자료 (20,686 개 문서) 를 사용했습니다.
• 데이터 오염 방지 (Contamination Audit): LLM 이 훈련 데이터에 이 자료를 이미 접했을 가능성을 배제하기 위해 엄격한 검증을 수행했습니다.
  • 문장 수준 검색 (Boyer-Moore 알고리즘): BWTC 문장들이 OLMO-2 의 공개된 훈련 데이터에 포함되었는지 정밀 검색.
  • 행동 프로브 (Behavioral Probe): '본 (SEEN)' 데이터와 '보지 못한 (UNSEEN)' 데이터에 대한 모델의 다음 문장 완성 유사도 차이를 분석하여 기억 (memorization) 효과를 검증.
  • 결과: 21% 의 문장은 'SEEN'으로 분류되어 제거되었으며, 나머지 'UNSEEN' 데이터만 Ground Truth 로 사용되었습니다.

B. 태스크: 내러티브 클로즈 (Narrative Cloze Task)

• 구현: 특정 인물 (Hidden Figure) 의 타임라인에서 하나의 사건을 [MASK]로 가리고, LLM 에게 해당 사건을 복원하도록 요청합니다.
• Ground Truth 구축: BWTC 내의 희귀한 인물 156 명을 선정하고, 해당 인물과 관련된 문서들을 기반으로 GPT-O3 를 이용해 사실에 기반한 타임라인을 추출했습니다.
• 평가 지표: 생성된 사건과 Ground Truth 간의 의미적 유사도를 측정하기 위해 story-emb(내러티브 특화 임베딩 모델) 를 사용하여 코사인 유사도를 계산했습니다.

C. 실험 설정

• 모델: 검증된 오픈 소스 모델 (OLMo-2 패밀리) 과 검증되지 않은 오픈 가중치/프로프리에타리 모델 (GPT-4o, GPT-5-chat, Qwen, Gemma 등) 을 비교 평가했습니다.
• 프롬프트: 다양한 프롬프트 전략 (Null-shot, Eccentric Automatic Prompts, LLM Discussion 등) 을 적용하여 할루시네이션을 유도하거나 제어하는 조건을 실험했습니다.
• 제어 변수: 온도 (Temperature) 설정을 통해 확률적 생성 (stochasticity) 이 성능에 미치는 영향을 분석했습니다.

3. 주요 결과 (Key Results)

A. 성능 분석

• 전반적 성능: 비판적 허구화 작업은 매우 어렵습니다. 대부분의 모델은 정확도 50% 미만을 기록했으나, GPT-5-chat이 약 59.7% 로 가장 높은 성능을 보였습니다.
• 검증된 vs 검증되지 않은 모델: 데이터 오염이 의심되지 않는 OLMo-2 모델들은 검증되지 않은 동급 모델들과 통계적으로 유의미한 성능 차이가 없었습니다. 이는 모델이 단순 암기가 아닌, 문맥 기반 추론을 통해 공백을 채우고 있음을 시사합니다.
• 프롬프트 민감도: 성능은 프롬프트에 매우 민감했습니다. 특히 EVENT_TYPE(사건 유형: 역할, 관계, 인지 등) 힌트를 제공하는 것이 모든 모델의 성능을 2~10% 포인트 향상시켰습니다.

B. 사건 유형별 성능 차이

• 가장 잘 수행: '역할 (Role)' 및 '관계 (Relational)' 사건 (생애, 직함, 협업 등). 이는 객관적 사실에 기반하기 쉽기 때문입니다.
• 가장 취약: '인지 (Cognitive)' 사건 (생각, 신념, 의도 등). 이는 관찰 가능한 맥락이 부족하여 재구성이 어렵습니다.

C. 구조적 영향

• 이벤트 길이: 사건 설명이 길수록 정확도가 약간 상승했습니다.
• 타임라인 길이: 타임라인이 길수록 (문맥이 길어질수록) 정확도가 감소했습니다. 이는 LLM 이 장거리 내러티브 의존성을 처리하는 데 여전히 한계가 있음을 보여줍니다.
• 위치: 타임라인의 시작 부분 사건이 끝부분 사건보다 재구성이 더 잘 되었습니다.

D. 오류 패턴

• 모델들은 개별적으로 고유한 오류를 범하기보다, 특정 인물이나 사건에서 공통적으로 실패하는 경향이 있었습니다. 이는 데이터셋의 특정 구조적 한계나 사회적 맥락의 복잡성 때문일 수 있습니다.

4. 주요 기여 (Key Contributions)

1. 비판적 허구화 (Critical Confabulation) 의 개념화: LLM 의 할루시네이션을 '사회적 선을 위한 도구'로 재정의하고, 이를 인문학 연구에 적용할 수 있는 방법론적 프레임워크를 제시했습니다.
2. 엄격한 데이터 오염 검증: 미출간 아카이브 데이터를 사용하여 LLM 평가 시 발생할 수 있는 데이터 오염 문제를 해결하기 위한 2 단계 검증 프로세스 (문자열 검색 + 행동 프로브) 를 제안했습니다.
3. 내러티브 클로즈 태스크의 확장: 기존 NLP 태스크를 넘어, 역사적 공백을 메우는 '지식 복원' 작업을 위한 새로운 벤치마크와 평가 지표를 개발했습니다.
4. 인문학과 AI 의 융합: 디지털 인문학 (Digital Humanities) 에서 '기술적 회복 (technology of recovery)'의 가능성을 입증하며, AI 가 학자들이 대규모 아카이브의 잠재적 의미를 발견하는 데 어떻게 기여할 수 있는지 보여줍니다.

5. 의의 및 시사점 (Significance)

• NLP 관점: 할루시네이션을 단순히 제거해야 할 결함이 아니라, 조건부 (evidence-bound) 로 제어될 때 유용한 자원이 될 수 있음을 입증했습니다. 이는 창의적 AI 응용 분야 (디지털 스토리텔링, 문화유산 복원 등) 에 새로운 방향을 제시합니다.
• 인문학 관점: 역사적 기록에서 소외된 '숨겨진 인물'들의 이야기를 복원하는 데 AI 를 활용할 수 있는 가능성을 열었습니다. 이는 아카이브의 침묵을 깨고, 다양한 관점에서 역사를 재해석하는 데 기여할 수 있습니다.
• 윤리적 고려: 연구는 '증거에 기반한 서사 윤리 (narrative ethics)'를 강조하며, 추측이 사실로 둔갑하거나 새로운 역사적 현실을 임의로 창조해서는 안 된다는 점을 명시했습니다. 향후 연구에서는 윤리적 안전장치와 출처 추적 (provenance tracking) 을 강화할 필요가 있습니다.

결론적으로, 이 논문은 LLM 이 역사적 공백을 메우는 복잡한 작업에서 인간 학자의 보조 도구로서 유의미한 잠재력을 가지고 있음을 보여주며, 이를 위해 프롬프트 엔지니어링과 엄격한 데이터 검증이 필수적임을 강조합니다.