Citation Receipts: Auditing Retrieval-Backed Citation Events in Digital Libraries
이 논문은 디지털 도서관이 표본 검사를 통해 특정 인용 이벤트를 검증할 수 있도록 인증된 출처 검색에 대한 암호학적으로 서명되고 감사 가능한 기록을 생성하는 시스템인 인용 영수증 프로토콜(Citation Receipt Protocol, CRP)을 소개하며, 전역적 완전성이나 의미론적 인용 유효성을 인증하는 데 있어 본 시스템의 한계를 명시적으로 인정한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 연구의 세계에서 학자의 업적은 종종 다른 연구자들이 자신의 논문에 얼마나 자주 인용하느냐에 따라 측정됩니다. 수십 년 동안 이러한 집계는 간단했습니다. 인간 저자가 논문을 읽고, 그것이 관련이 있다고 판단한 뒤, 자신의 저작물에 참조를 추가하는 방식이었습니다. 그 행위는 영구적이고 검증 가능한 기록을 만들어냈습니다. 그러나 오늘날, 인공지능이라는 새로운 종류의 저자가 등장했습니다. 이 시스템들은 수천 편의 논문을 읽고 요약, 문헌 검토, 연구 초안을 몇 초 만에 작성할 수 있습니다. 이들은 종-종 인용구를 포함하여 독자를 원래의 출처로 안내합니다. 하지만 조용한 문제가 발생했습니다. AI가 논문을 인용할 때, 실제로 답을 찾기 위해 그 논문을 읽었을 수도 있지만, 단순히 몇 년 전 학습한 패턴을 바탕으로 제목을 추측했을 수도 있습니다. 더 심각한 것은, 설령 AI가 실제로 그 논문을 읽었다 하더라도, 그 논문의 발행인은 그것이 일어났다는 사실을 알 방법이 없는 경우가 많다는 점입니다. AI 기업은 상호작용을 보고, 사용자는 답을 보지만, 그 논문을 보유한 도서관은 아무것도 보지 못합니다. 이는 과학적 발견의 기록에 공백을 만들어내며, 한 편의 논문이 단 한 번의 공식적인 크레딧도 받지 못한 채 수천 개의 AI 답변에 영향을 미칠 수 있게 합니다.
쿠마르 아비나브(Kumar Abhinav)라는 연구자는 AI가 생각하는 방식을 바꾸는 것이 아니라, 새로운 종류의 디지털 영수증을 만드는 방식으로 이 간극을 메우는 방법을 제안했습니다. 책을 대출할 때마다 시스템이 자동으로 어떤 책이, 언제, 누구에 의해 대출되었는지 정확히 적힌 작은 위조 방지 티켓을 출력하는 도서관을 상상해 보십시오. 아비나브의 연구인 '인용 영수증 프로토콜(Citation Receipt Protocol)'은 디지털 시대에 이와 유사한 일을 수행합니다. 이 프로토콜은 AI 시스템이 답변을 작성하기 위해 특정 버전의 과학 논문을 실제로 검색했음을 증명하도록 설계되었습니다. 이 시스템은 AI 제공업체가 소스를 가져와 답변에 표시하는 즉시 디지털 영수증에 서명하도록 함으로써 작동합니다. 이 영수증은 마치 공증인이 문서에 도장을 찍어 영구적인 등록부에 추가하는 것처럼, 공개적이고 변경 불가능한 로그에 기록됩니다. 이를 통해 발행인이나 독립적인 감사인은 로그를 확인하여 인용이 실제적이었는지, 그리고 소스 텍스트의 실제 검색에 기반한 것인지 검증할 수 있습니다.
이 아이디어가 실제 세계에서 작동하는지 테스트하기 위해, 아비나브는 2026년 1월까지의 데이터로 학습된 대규모 언어 모델을 사용하여 일련의 통제된 실험을 수행했습니다. 연구진은 AI가 기억만으로는 알 수 없도록, 해당 학습 날짜 이후에 발표된 100편의 과학 논문 세트를 만들었습니다. 그런 다음 연구진은 세 가지 서로 다른 조건 하에서 AI에게 이 새로운 논문들에 대해 질문했습니다. 첫 번째 조건에서 AI는 새 논문에 전혀 접근할 수 없었습니다. 두 번째 조건에서 AI는 이 새로운 논문들이 담긴 로컬 라이브러리를 검색하고 상위 5개의 결과를 가져올 수 있었습니다. 세 번째 조건에서 연구진은 AI가 특정 대상 논문을 반드시 보도록 강제했습니다. 결과는 명확했습니다. AI가 새 논문에 접근할 수 없을 때는 이를 인용하지 않았습니다. AI가 논문을 검색하고 가져올 수 있도록 허용했을 때는 100번의 시도 중 95번에서 대상 논문을 인용했습니다. 결정적으로, 인증된 소스와 일치하는 95개의 모든 가시적이고 선언된 인용에 대해, 시스템은 성공적으로 디지털 영수증을 생성하고 검증했습니다. 이는 프로토콜이 실제 검색에 기반한 인용과 단순한 추측 또는 환각에 의한 인용을 구별할 수 있음을 입증했습니다.
연구는 또한 이 시스템이 AI 제공업체가 자신의 시스템을 더 좋게 보이게 하거나 사용량을 보고하지 않기 위해 인용을 누락하려고 시도하는 것을 감지할 수 있는지 조사했습니다. 연구진은 제공업체가 인용의 10%에 대해 의도적으로 영수증을 누락하는 테스트를 설정했습니다. 무작위 점검 역할을 하는 감사 시스템은 높은 신뢰도로 이러한 누락된 영수증을 탐지할 수 있었습니다. 그러나 연구는 이 시스템이 모든 문제를 해결하는 마법의 탄환은 아니라는 점도 밝혀냈습니다. 이 시스템은 AI가 논문의 의미를 실제로 이해했는지, 혹은 인용이 특정 답변을 내놓은 유일한 이유였는지를 증명할 수는 없습니다. 또한 AI가 과거에 그 논문을 학습했는지 여부도 알 수 없습니다. 이는 단지 그 논문이 특정 시점에 페치(fetch)되었음을 증명할 뿐입니다. 나아가, 이 시스템은 사용자의 기기가 해킹당할 경우 감사가 속을 수 있으므로, 답변을 기록하는 클라이언트의 정직성에 의존합니다.
연구진은 이 시스템을 추가하는 데 드는 비용을 측정했으며, 그 비용이 매우 작다는 것을 발견했습니다. 각 디지털 영수증은 짧은 문자 메시지 정도 크기의 아주 작은 파일이며, 생성하거나 확인하는 데 표준 컴퓨터에서 1초도 걸리지 않습니다. 이는 이 시스템을 기존 디지털 라이브러리에 속도를 늦추지 않고도 추가할 수 있음을 시사합니다. 또한 이 연구는 인용을 계산하는 방식의 중요한 차이점을 강조했습니다. 논문이 AI 답변에 나타나는 횟수를 단순히 세는 것만으로는 충분하지 않습니다. 연구진은 영수증 프로토콜 없이는 제공업체가 쉽게 인용을 숨기거나 가짜 인용을 만들어낼 수 있음을 보여주었습니다. 프로토콜을 사용하면, 그 계산은 특정 이벤트의 검증된 기록이 됩니다. 즉, 특정 버전의 논문이 페치되었고, 특정 답변이 생성되었다는 기록입니다.
궁극적으로, 이 연구는 인공지능 시대의 투명성을 위한 실질적인 도구를 제공합니다. 이 연구는 AI가 어떻게 학습하는지 또는 진정으로 과학을 "이해"하는지에 대한 깊은 철학적 문제를 해결한다고 주장하지 않습니다. 대신, AI가 소스를 가리킬 때 그 지시가 소스에 접근했다는 검증 가능한 기록에 의해 뒷받침되도록 하는 기계적인 방법을 제공합니다. 디지털 라이브러리와 발행인들에게 이는 AI 기업이 진실을 말해주기를 기다리는 대신, 자신들의 논문이 AI 시스템에 의해 사용되고 있는 것을 실시간으로 볼 수 있음을 의미합니다. 과학계에 있어, 이는 정보의 흐름을 새로운 정밀도로 추적할 수 있는 방법을 제공하며, 작성자가 기계일 때라도 발견에 대한 공로가 마땅히 돌아갈 곳에 주어지도록 보장합니다. 연구는 이 프로토콜이 AI 사고의 질을 인증하지는 못하지만, 생성된 인용에 대한 감사 가능한 흔적을 성공적으로 만들어내어, 숨겨진 상호작용을 공개적이고 검증 가능한 사실로 바꾼다고 결론짓습니다. 저자인 쿠마르 아비나브는 그가 인용 영수증 프로토콜과 관련된 특허 출원을 개인적으로 소유하고 있다는 잠재적인 재정적 이해관계가 있음을 공개했습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.