Auditing the Synthetic Memoir: Measuring Scene-Level Confabulation in LLM-Generated Autobiography Against the Documented Record of the Life It Describes

인공지능 연구의 조용한 구석에서 새로운 종류의 실험이 진행되고 있다. 이 실험은 단순해 보이지만 깊은 울림을 주는 질문을 던진다. 만약 당신이 컴퓨터에게 한 사람의 인생 이야기를 들려달라고 요청한다면, 그 이야기 중 실제로 진실인 부분은 얼마나 될까? 수년 동안 과학자들은 대규모 언어 모델이라 불리는 이 시스템들이 때때로 사실을 지어낼 수 있다는 것을 알고 있었다. 이들은 역사적 사건에 대해 사실을 꾸며내거나, 존재하지 않는 과학 연구가 있다고 주장하기도 한다. 이것은 보통 '환각(hallucination)'이라고 불리는데, 이는 기계가 존재하지 않는 것을 보고 있다는 의미를 담고 있다. 하지만 기계에게 회고록, 전기, 또는 개인 일기를 쓰라고 요청할 때, 그 이해관계는 달라진다. 이야기는 더 이상 일반적인 지식에 관한 것이 아니라, 특정한 인간의 삶에 관한 것이 되기 때문이다. 만약 기계가 어린 시절의 기억이나 경력의 이정표를 지어낸다면, 그것은 단순히 실수를 하는 것이 아니라 한 사람의 역사를 새로 쓰는 것이다. 여기서 '작화증(confabulation)'이라는 개념이 중요해진다. 무작위적인 오류와 달리, 작화증은 유창하고 자신만만한 날조를 의미한다. 기계는 실제로는 일어나지 않은 일임에도 불구하고, 완벽하게 들리고 회고록의 어조에 부합하는 이야기로 빈틈을 채워 넣는다. 디지털 버전의 우리가 우리의 전기를 쓰게 될 수도 있는 미래로 나아가면서, 우리는 그 이야기들이 현실에 근거하고 있는지, 아니면 허구의 토대 위에 세워진 것인지 알아야 한다.

헤더 렌제(Heather Renze)라는 연구자는 스스로 실험 대상이 됨으로써 이를 확인하기로 했다. 그녀는 인공지능이 작성하는 1년 단위의 '하루 한 페이지' 일기 형태의 책을 의뢰했다. 목표는 그녀의 삶을 1인칭 시점으로 들려주는 366일간의 짧은 이야기들로 구성된 선물용 책을 만드는 것이었다. 과정은 간단했다. 컴퓨터에는 스타일을 보여주기 위한 두 개의 예시 일자와 매일의 프롬프트 역할을 할 단 하나의 인용구가 포함된 템플릿이 주어졌다. 결정적으로, 컴퓨터는 그녀의 디지털 기록에 접근할 수 있는 상태였지만, 그 기록을 사용하라는 지시는 매우 막연하고 느슨하게만 전달되었다. 따라서 컴퓨터는 그녀의 삶에 대한 세부 사항을 채우기 위해 자신의 내부 지식에 의존해야 했다. 책이 출판되기 전, 렌제는 모든 항목을 검토하기로 결정했다. 그녀는 출간된 회고록, 전문 기록, 개인 아카이브를 포함한 방대한 양의 검증된 문서들을 대조하며 이 프로젝트를 과학적 실험처럼 다루었다. 그녀는 기계가 들려준 이야기 중 얼마나 많은 것이 사실인지를 절대적인 정밀도로 확인하고자 했다.

결과는 극명했다. 책에 담긴 366일 중 기록을 통해 긍정적으로 확인할 수 있는 장면이 포함된 항목은 단 12개뿐이었다. 즉, 354일 동안 컴퓨터가 들려준 이야기는 사실로 검증될 수 없었다는 뜻이다. 연구 용어로 way, 이는 거의 97%에 달하는 실패율이다. 기계는 단순히 작은 세부 사항을 틀린 것이 아니라, 현실에 근거가 없는 전체 장면을 구성해 냈다. 어떤 경우에는 컴퓨터가 너무나 확신에 차서 실제로 불가능하거나 사실과 직접적으로 모순되는 사건을 지어내기도 했다. 예를 들어, 기계는 그녀에게 자녀가 없는데도 자녀가 있다고 주장하거나, 일어나지 않은 특정 자동차 사고에서 살아남았다고 주장했다. 이것들은 막연한 추측이 아니라, 기록을 통해 거짓임이 증명된 구체적이고 명명된 사건들이었다. 약 5%의 날들은 이처럼 진실과 정면으로 배치되는 범주에 속했다.

그러나 가장 흔한 유형의 오류는 더 미묘한 것이었다. 기계는 배경은 맞히되 이야기는 지어내는 식이었다. 기계는 그녀가 특정 회사에서 근무했거나 특정 도시에 살았다는 사실은 정확히 식별했지만, 그 사실을 바탕으로 허구의 장면을 만들어냈다. 사무실에서 일어나지 않은 극적인 회의를 가졌다고 하거나, 실제 동료와 하지 않은 특정한 대화를 나누었다고 말하곤 했다. 이것이 연구자들이 '근거 있는 표류(grounded drift)'라고 부르는 현상이다. 기계는 어떤 면에서는 진실에 닻을 내리고 있었지만, 더 나은 혹은 더 극적인 서사를 만들기 위해 진실로부터 표류했다. 기계는 그녀의 고용주 이름과 그녀가 살았던 도시를 알고 있었지만, 그 실제 세부 사항들을 일어나지 않은 연극의 무대로 사용했다. 이는 거짓을 발견하기 어렵게 만든다는 점에서 특히 위험하다. 사실은 맞히되 정서적 핵심을 지어낸 이야기는, 모든 것을 틀린 이야기보다 더 신뢰할 만하게 느껴지기 때문이다.

연구의 결론을 확실히 하기 위해, 연구에는 두 번째 검증 단계가 포함되었다. 원래의 감사는 인공지능 시스템에 의해 수행되었기에, 기계가 스스로를 공정하게 판단하고 있는지에 대한 의문이 제기되었다. 이를 테스트하기 위해, 원래의 감사 모델과 다른 계열의 독립적인 두 평가자가 동일한 규칙을 사용하여 무작위로 추출된 60일 치의 샘플을 검토했다. 그들은 원래의 결과와 거의 완전히 일치했다. 이야기가 참인지 거짓인지를 결정하도록 요청받았을 때, 그들은 원래의 판정과 95에서 98% 일치했다. 이는 높은 실패율이 검증 과정의 실수가 아니라, 이야기들이 실제로 대부분 거짓임을 확인시켜 주었다. 연구진은 또한 더 강력하고 최신인 컴퓨터 모델들이 더 잘할 수 있는지 확인하려 했다. 그들은 최신 버전의 기술로 동일한 프롬프트를 실행했지만, 결과는 같았다. 실제 기록에 접근할 수 없다면, 새로운 모델들 역시 사실을 말하는 데 실패하며 매일 써달라는 요청에 대해 이야기를 지어냈다.

이 연구는 완벽한 해결책은 아니더라도 앞으로 나아갈 길을 제시했다. 연구진이 이미 사용 가능했던 대상자의 실제 문서들을 바탕으로 내용을 작성하도록 구체적이고 명시적으로 지시했을 때, 실패율은 현저히 낮아졌다. 검증된 장면의 수가 늘어났고, 완전히 거짓인 이야기의 수도 줄어들었다. 그러나 이러한 도움에도 불구하고 기계는 여전히 어려움을 겪었다. 기계는 여전히 세부 사항을 지어내고 사실로부터 표류하는 모습을 보였는데, 이는 단순히 기계에게 올바른 책을 주는 것만으로는 진실을 말하게 하기에 충분하지 않음을 시사한다. 기계는 사실이 바로 눈앞에 있음에도 불구하고 서사를 만들고자 하는 강한 욕구를 여전히 가지고 있는 듯하다.

이 실험은 우리가 우리의 이야기를 전달하기 위해 인공지능을 사용하는 방식에 있어 근본적인 한계를 드러낸다. 만약 우리가 우리의 역사를 제공하지 않은 채 기계에게 전기를 써달라고 요청한다면, 기계는 아마도 그 빈틈을 허구로 채울 것이다. 기계는 일관성 있고 매력적인 우리의 버전을 만들어내겠지만, 그것은 결코 존재한 적 없는 우리의 모습일 것이다. 이 연구는 어떤 시스템이 한 사람의 삶을 시뮬레이션한다고 주장할 때, 그 세부적인 경험들이 검증된 기록에 의해 확인되지 않는 한 그 내용을 신뢰할 수 없음을 시사한다. 기계는 사람의 목소리를 흉내 낼 수는 있지만, 아직 그 삶을 기억할 수는 없다. 우리가 디지털 트윈이나 합성 전기에 부여하는 신뢰는 태도나 일반적인 사실 같은 표면적인 수준에 국한되어야 한다. 왜냐하면 삶을 구성하는 구체적인 순간들, 즉 장면, 대화, 작은 드라마들이야말로 기계가 가장 자주 실패하는 지점이기 때문이다. 교훈은 명확하다. 진실한 이야기를 원한다면, 우리는 사실을 제공해야 하며 그 작업물을 확인해야 한다. 왜냐하면 우리가 허락한다면 기계는 기꺼이 우리를 위해 새로운 삶을 지어낼 것이기 때문이다.