A Grounded and Decomposed Framework for Relation-Level Hallucination Evaluation in Abstractive Summarization

당신이 아주 재능 있지만 약간은 장난기 넘치는 로봇이 쓴 이야기를 읽고 있다고 상상해 보세요. 이 로봇은 '추상적 요약(abstractive summarization)'의 전문가입니다. 이는 그냥 긴 기사를 읽고 자신만의 언어로 짧고 강렬한 버전을 쓰는 것을 의미하는 멋진 표현이죠. 이 로봇은 자연스럽고 유창하게 말하는 데 탁관하며, 문장은 강물처럼 매끄럽게 흐릅니다. 하지만 여기 함정이 있습니다. 멋져 보이고 싶은 욕심 때문에, 가끔 로봇은 이야기를 지어내곤 합니다. 사람들의 이름은 그대로 유지하면서도, 누가 누구에게 무엇을 했는지는 뒤바꿔 버릴 수 있습니다. 마치 뉴스 앵커가 실제 문서에는 "비서가 조약을 체결했다"라고 적혀 있음에도 불구하고, "대통령이 조약을 체서했다"라고 말하는 것과 같습니다. 단어들은 그 자리에 있지만, 진실은 왜곡된 것입니다. 이것을 '환각(hallucination)'이라고 부르며, 인공지능의 세계에서 이는 큰 문제입니다. 왜냐하면 우리는 요약본이 그저 듣기 좋을 뿐만 아니라, 반드시 사실이어야 하기 때문입니다.

오랫동안, 이 거짓말하는 로봇들을 잡아내려 노력했던 과학자들은 식료품 목록을 확인하는 것과 같은 도구들을 사용해 왔습니다. 그들은 로봇이 사용한 단어가 원래 기사에 얼마나 포함되어 있는지를 세었습니다. 만약 로봇이 '사과'라는 단어를 사용했고 원문에 '사과'가 있었다면, 그것은 로봇에게 점수를 주는 방식이었습니다. 하지만 이것은 요리사가 사용한 재료의 개수만 따지면서 정작 요리의 맛은 보지 않는 것과 같습니다. 당신은 목록과 완벽하게 일치하는 재료가 가득 담긴 그릇을 가질 수 있지만, 그것은 여전히 엉망인 식사가 될 수 있습니다. 기존의 도구들은 로봇이 '이름'을 기억하는지는 잘 체크했지만, 그 이름들 사이의 '관계'를 기억하는지는 파악하는 데 서툴렀습니다. 그들은 진실을 말하는 로봇과 매우 설득력 있는 거짓말을 하는 로봇을 구분할 수 없었습니다.

여기서 IIIT 부바네슈와 일부 산업 파트너의 연구진이 더 날카로운 안경을 들고 등장합니다. 그들은 거짓말쟁이를 잡으려면 단순히 단어를 세는 것이 아니라, 이야기의 구조를 이해해야 한다는 것을 깨달았습니다. 그들은 '관계 수준의 환각(relation-level hallucinations)'을 찾아내는 탐정처럼 요약본을 평가하는 새로운 프레임워크를 구축했습니다. 단순히 "올바른 단어를 사용했는가?"라고 묻는 대신, 그들은 "점들을 제대로 연결했는가?"라고 묻습니다.

연구진은 **관계 환각 지수(Relation Hallucination Index, RHI)**라는 새로운 점수 체계를 만들었습니다. 원문을 서로 다른 캐릭터와 사건들을 연결하는 복잡한 실의 그물망이라고 생각해 보세요. 좋은 요약본은 그 실들을 온전하게 유지해야 합니다. 환각을 일으키는 요약본은 실을 끊고 그것을 엉뚱한 사람에게 연결할 수 있습니다. 기존의 도구들은 캐릭터(단어)들이 여전히 그 자리에 있기 때문에 이를 놓칠 수 있습니다. 하지만 새로운 RHI는 모든 실을 추적하도록 설계되었습니다. 이 시스템은 텍스트를 '주어(누가)', '동사(무엇을 했다)', '목적어(누구에게)'라는 기본 단위인 '트리플(triples)'로 분해하는 정교한 과정을 사용합니다.

이 트리플들이 정확한지 확인하기 위해, 팀은 단순히 기본적인 스캐너를 사용하지 않았습니다. 그들은 '의존성 인식(dependency-aware)' 추출 엔진을 구축했습니다. 이 엔진을 단어만 읽는 것이 아니라 문법의 깊은 곳까지 이해하는 매우 세심한 편집자라고 상상해 보세요. 이 엔진은 주어가 숨겨진 까다로운 문장(예: 수동태인 "공이 던져졌다"를 "누군가 공을 던졌다"로 변환)을 처리할 줄 압니다. 또한 "그는 ~라고 말했다"와 같이 단순히 말을 전달하는 단어들은 무시하고 실제 사실에 집중합니다. 심지어 시제 차이로 인해 혼동되지 않도록 단어를 기본형으로 변환(예: "running"을 "run"으로 변경)하여 정리합니다. 이를 통해 원문과 요약본을 비교할 때, 사과를 사과파이와 비교하는 것이 아니라 사과를 사과와 직접 비교할 수 있게 합니다.

연구팀은 이 새로운 시스템을 거대한 데이터 놀이터에서 테스트했습니다. 그들은 세 가지 유형의 뉴스 데이터셋을 사용했습니다: 매우 짧고 창의적인 요약을 가진 XSUM, 다양한 국가와 언어의 뉴스를 담은 XLSUM, 그리고 더 길고 상세한 이야기를 담은 CNN/DailyMail 데이터셋입니다. 그들은 네 가지 유명한 AI 모델인 BART-large-CNN, PEGASUS, T5-large, GPT-3.5에게 800개의 서로 다른 뉴스 기사의 요약을 작성하게 했습니다. 또한, 로봇이 인간의 완벽한 점수에 얼마나 근접할 수 있는지 확인하기 위해 "인간 참조(human reference)" 요약본도 포함했습니다.

결과는 놀라웠습니다. 기존의 단어 계산 도구를 사용했을 때, PEGASUS는 원문의 단어를 많이 사용했기 때문에 종종 승자로 보였습니다. 하지만 연구진이 새로운 RHI 점수를 적용하자 그림이 바뀌었습니다. BART는 비록 원문과 똑같은 단어를 항상 사용하지는 않았지만, 사건 사이의 진정한 관계를 보존하는 데 있어 가장 높은 점수를 받았습니다. GPT-3.5는 어떤 면에서는 훌륭했지만, 많은 "관계 삽입 가변성(relation insertion variability)", 즉 존재하지 않는 새로운 연결을 만들어내는 모습을 보였습니다. 이번 연구는 새로운 RHI 점수가 기존 방식보다 이러한 미묘한 거짓말을 포착하는 데 훨씬 뛰어나다는 것을 보여주었습니다.

흥 อีก 한 가지 흥미로운 발견은 이 점수가 "정규화(normalized)"되었다는 점입니다. 이는 짧고 간결한 요약을 보든 길고 상세한 요약을 보든 상관없이 공정하게 작동한다는 것을 의미합니다. 그들은 오류를 맞은 것, 지어낸 것, 놓친 것, 틀린 것의 카테고리로 나누었습니다. 이 조각들을 살펴봄으로써, 모델이 구체적으로 어떻게 실패하고 있는지 알 수 있었습니다. 예를 들어, 어떤 모델들은 주요 사실을 유지하는 데는 능숙했지만, 부정문(예: "회사가 파산하지 않았다")을 처리하는 데는 매우 취약하다는 것을 발견했습니다.

연구진은 자신들의 결과가 단순히 운이 아니라는 것을 증명하기 위해 통계적 테스트를 실시했습니다. 그들은 모델 간의 점수 차이가 유의미하다는 것을 발견했으며, 이는 새로운 RHI 점수가 좋은 요약본과 환각이 있는 나쁜 요약본을 구별하는 신뢰할 수 있는 방법임을 의미합니다. 또한, 그들은 이 새로운 방식이 이름만 제대로 체크하는 기존의 "엔티티 환각 지수(Entity Hallucination Index)"보다 우수하다는 것을 보여주었습니다. 왜냐하면 RHI는 이름뿐만 아니라 그 이름들 사이의 '행동'과 '연결'을 체크하기 때문입니다.

결론적으로, 이 논문은 우리가 AI를 신뢰할 수 있게 만들고 싶다면, 단순히 단어를 세는 것을 넘어 이야기의 논리를 확인해야 한다고 제안합니다. 새로운 **관계 환각 지수(RHI)**는 바로 그 일을 수행하는 방법을 제시합니다. 이 지수는 요약이 단순히 듣기에 좋다는 것을 알려주는 것이 아니라, 그 요약이 전달하는 이야기가 실제로 사실인지 알려줍니다. 저자들은 향-후 이러한 종류의 점수가 AI 모델을 훈련시키는 데 사용되어, 모델들이 유창함만으로는 부족하며 사실에 충실해야 한다는 것을 배울 수 있도록 돕기를 희망하고 있습니다.