당신이 학교 보고서에 우주 여행의 역사를 쓴다고 상상해 보세요. 똑똑해 보이고 싶어서 하단에 출처 목록을 추가합니다. 그런데 만약 그 출처 중 일부가 가짜라면 어떨까요? 책 제목은 진짜처럼 들리고, 저자 이름은 유명한 과학자의 이름이며, 출판사는 실제 존재하는 곳이지만, 정작 그 책 자체는 존재하지 않는다면요? 이것을 "환각(hallucination)"이라고 부릅니다. 인공지능(AI)의 세계에서 거대 언어 모델(LLM)은 에세이나 요약문을 즉석에서 작성할 수 있는 초스마트 학생과 같습니다. 하지만 이들은 때때로 멋져 보이기 위해 가짜 참고 문헌을 지어낼 정도로 지나치게 자신만만해지곤 합니다. 이는 과학계에 큰 문제입니다. 연구자들이 이러한 가짜 인용을 사용하게 되면 지식의 사슬 전체가 무너지기 때문입니다. 이를 해결하기 위해 과학자들은 "인용 검증기(citation verifiers)"—참조가 진짜인지 거짓인지 확인하도록 설계된 디지털 도구—를 구축하고 있습니다. 하지만 지금까지는 어떤 도구가 가장 뛰어난 탐정인지 테스트할 공정한 방법이 없었습니다. 왜냐하면 모두가 각기 다른, 엉망진창인 가짜 논문 세트로 자신의 도구를 테스트했기 때문입니다.

여기에 HALLMARK라는 새로운 연구가 등장했습니다. 이 연구는 이러한 인용 확인 도구들을 위한 거대하고 조직적인 "시험" 역할을 합니다. 연구진은 명백한 거짓말(예: 서기 3000년에 출판된 책)부터 까다로운 속임수(예: 실제 저자와 가짜 제목의 조합)에 이르기까지, 2,526개의 가짜 및 실제 참조로 구성된 방대한 문제 은행을 만들었습니다. 그런 다음 13가지의 다양한 도구(단순 데이터베이스 체크 도구부터 고급 AI 모델까지)를 대상으로 성능을 시험했습니다. 이 연구는 놀라운 사실을 발견했습니다. 인용 확인 도구에게 가장 중요한 것은 얼마나 많은 거짓말을 잡아내느냐가 아니라, 얼마나 자주 실제 논문을 거짓이라고 잘못 몰아세우느냐(오탐)라는 점입니다. 만약 도구가 너무 공격적이라면, 너무 많은 실제 논문을 가짜라고 표시하여 아무도 그 경고를 믿지 않게 됩니다. 또한 이 논문은 대부분의 AI 도구가 자신의 "학습 컷오프(지식이 멈추는 날짜)" 이후에 발표된 논문에 혼란을 느껴, 인식하지 못하는 새로운 실제 논문들을 가짜라고 표시하곤 한다는 점을 밝혀냈습니다. 최고의 도구들은 가짜를 식별해 낼 수 있지만, 이 연구는 도구가 거짓을 잡아낼 만큼 똑똑하면서도, 자신이 모르는 것에 대해 모든 것에 "가짜!"라고 소리치지 않는 균형을 찾는 것이 진정한 과제임을 시사합니다.

거대한 문제: "가짜 참조"의 유행

당신이 사서라고 상상해 보세요. 누군가 당신에게 책 한 더미를 건네며 말합니다. "이것들이 제 연구의 출처들입니다." 당신은 첫 번째 것을 확인하고, 완벽해 보입니다. 두 번째 것도 아주 좋습니다. 하지만 세 번째 책이 도서관에 존재하지 않고, 네 번째 책은 내년에 출간될 예정이라는 사실을 깨닫게 됩니다. 이것이 바로 AI 모델이 텍스트를 생성할 때 발생하는 현상입니다. AI는 매우 자신감 있게 말하는 데 능숙해서, 때때로 진짜처럼 보이지만 완전히 지어낸 참조를 만들어내곤 합니다. 이것을 **인용 환각(citation hallucination)**이라고 부릅니다.

과거에는 인간이 이러한 참조들을 확인했습니다. 하지만 이제 AI가 글을 쓰는 양이 엄청나게 많아지면서, 우리는 이를 확인하기 위한 자동화된 도구가 필요해졌습니다. 문제는 모든 도구가 자신이 최고라고 주장하지만, 모두 서로 다른 것들로 테스트되고 있다는 점입니다. 이것은 마치 서로 다른 종류의 연기가 나는 세 개의 서로 다른 집에서 세 개의 서로 다른 화재 경보기를 테스트하는 것과 같습니다. 모든 경보기를 동일한 건물에서 동일한 연기로 테스트하기 전까지는 어떤 경보기가 실제로 가장 좋은지 알 수 없습니다.

해결책: HALLMARK (위대한 인용 시험)

이 논문의 저자들은 HALLMARK를 구축했습니다. 이는 "환각 벤치마크(Hallucination benchmark)"의 약자입니다. 이것을 인용 확인 도구들을 위한 거대하고 표준화된 시험이라고 생각하세요. 그들은 단순히 무작위로 가짜 논문을 던져준 것이 아니라, 세 가지 난이도 단계가 있는 구조화된 시험을 만들었습니다:

1. 1단계 (쉬움): 명백한 거짓말입니다. 작동하지 않는 DOI(디지털 식별자)나 지어낸 컨퍼런스 이름 같은 것입니다. 단순한 검색만으로도 잡아낼 수 있습니다.
2. 2단계 (중간): 더 까다롭습니다. 실제 저자와 실제 컨퍼런스를 사용했지만, 논문 제목은 가짜인 경우입니다. 이런 것을 잡으려면 세부 정보를 교차 검증해야 합니다.
3. 3단계 (어려움): "걸작" 수준의 거짓말입니다. 논문 전체가 통째로 지어냈지만 너무 현실적이어서 인간조차 믿을 수 있는 수준입니다. 혹은 실제 논문의 제목에서 단 한 단어만 바꾼 경우입니다(예: "Attention is All You Need"를 "Attention is All You Want"로 변경).

테스트 뱅크에는 2,526개의 항목이 들어 있습니다. 일부는 데이터베이스에서 긁어온 실제 논문이고, 나머지는 인간이나 AI, 또는 실제 논문을 체계적으로 변형하여 만든 가짜 논문입니다. 결정적으로, 연구진은 테스트 대상인 AI 도구들의 학습 데이터에 이 "가짜" 논문들이 포함되지 않도록 하여, 도구들이 정답을 단순히 "암기"할 수 없도록 했습니다.

세 가지 주요 발견

연구진은 단순한 데이터베이스 조회부터 인터넷을 검색할 수 있는 고급 AI 에이전트까지 13가지의 서로 다른 도구를 테스트했습니다. 결과는 다음과 같습니다:

1. "오탐(False Alarm)"의 함정

가장 놀라운 점은 **오탐율(False Positive Rate, FPR)**이 얼마나 많은 거짓을 잡아내느냐(재현율, Recall)보다 훨씬 중요하다는 것이었습니다.

• 비유: 콘서트장의 보안 요원을 상상해 보세요. 보안 요원이 티켓을 확인하기 위해 100명을 세웠는데, 그중 99명이 사실은 유효한 티켓을 가진 팬이라면, 그 요원은 단 한 명의 무임승차자를 잡았더라도 아무짝에도 쓸모없는 존재입니다.
• 발견: 일부 도구는 그 지나치게 의욕적인 보안 요원 같았습니다. 그들은 거의 모든 가짜 논문을 잡아냈지만(높은 재현율), 동시에 너무 많은 실제 논문을 가짜라고 표시하여(높은 오탐율) 결과를 무용지물로 만들었습니다. 연구에 따라 실제 가짜 논문의 비율(약 2%)에서, 오탐율이 높은 도구는 경보를 울릴 때마다 36번 중 35번은 틀린다는 것을 보여주었습니다. 최고의 도구는 비록 몇 개의 가짜를 놓치더라도, 확실히 틀렸다고 확신할 때만 신호를 보내는 신중한 도구였습니다.

2. "에이전트(Agent)"의 역설

연구진은 AI 도구들에게 검색 엔진과 데이터베이스를 사용하여 참조를 확인하는 "초능력"(이를 "에이전트 기반 조회"라고 함)을 부여하여 실험했습니다.

• 발견: 도구에게 더 많은 정보를 주면 더 똑똑해질 것이라고 생각할 수 있습니다. 하지만 종종 이는 정확도를 떨어뜨렸습니다. AI가 여러 데이터베이스를 검색하도록 하면, 단 하나의 데이터베이스라도 해당 논문을 찾지 못할 경우 그 논문을 가짜로 분류하는 경 tendency를 보였습니다. 실제 논문이라도 모든 데이터베이스에 등록되어 있지 않을 수 있는데, AI는 이를 근거로 실제 논문을 가짜라고 낙인찍기 시작한 것입니다. 이는 마치 한 명의 목격자가 범인을 알아보지 못했다는 이유만으로, 다른 목격자들이 그 사람이 무죄라고 증언함에도 불구하고 일단 체포하고 보는 형사와 같았습니다. 연구에 따르면 이러한 "에이전트" 도구들은 자신의 지식만을 사용할 때보다 오탐 발생률이 약 5배 증가했습니다.

3. "학습 컷오프"의 맹점

AI 모델은 특정 날짜까지의 데이터로 학습됩니다(그들의 "컷오프"). 그 이후에 일어난 일은 알지 못합니다.

• 발견: 연구진이 대부분의 모델의 학습 컷오프 이후인 2024년과 2025년에 발표된 논문들을 테스트했을 때, 도구들은 통제 불능 상태가 되었습니다. 도구들은 저자나 학술지를 인식하지 못해 거의 모든 새로운 논문을 가짜라고 표시하기 시작했습니다. 이는 마치 2020년 이전에 출판된 책만 아는 사서가 그 이후에 나온 모든 새 책을 존재하지 않는다고 거부하는 것과 같습니다. 가장 최신의 학습 데이터를 가진 최신 모델들만이 이 새로운 논문들을 보고도 침착함을 유지하며 과도하게 표시하는 것을 막을 수 있었습니다.

이것이 미래에 의미하는 바

이 논문은 하나의 "완벽한" 도구는 없다는 결론을 내립니다. 적절한 도구는 상황에 따라 다릅니다:

• 빠른 확인을 원한다면: 저자들이 만든 bibtex-updater와 같은 단순한 규칙 기반 도구가 좋습니다. 이 도구는 비록 까다로운 거짓말을 일부 놓칠 수는 있어도, 늑대라고 허위 경보를 울리는 일은 거의 없기 때문입니다.
• 심층 조사를 원한다라면: 모든 거짓을 잡아내야 하고 나중에 오탐에 대해 인간이 검토할 여력이 있다면, 더 공격적인 AI 도구가 더 나을 수 있습니다.

이 연구는 과학에 대한 신뢰는 이러한 도구들이 단순히 거짓을 잡아내는 것뿐만 아니라, 진실에 대해 거짓을 말하지 않는 것에 달려 있다고 강조합니다. 만약 도구가 너무 많은 실제 논문을 가짜라고 표시한다면, 연구자들은 더 이상 그 도구를 믿지 않을 것이고, 결국 가짜 논문들이 다시 스며들게 될 것입니다. 저자들은 미래의 인용 확인의 핵심이 단순히 크고 공격적인 도구가 아니라, 신중하고, 정밀하게 조정되며, 자신의 한계를 인지하고 있는 도구에 있다고 제안합니다.

요약하자면, HALLMARK은 단순히 승자를 찾아낸 것이 아니라, 우리가 '심판을 판단하는 법'을 가르쳐 주었습니다. 거짓을 쫓는 싸움에서는 빠른 것보다 신중한 것이 더 중요하며, 때로는 자신이 무엇을 모르는지 아는 것이 가장 강력한 도구가 될 수 있음을 보여주었습니다.