TrustRAG: Blockchain-Enhanced RAG via Committee-Based Credibility Scoring

현대 디지털 시대에 인공지능은 숙련된 전문가와 같은 유창함으로 말을 배우게 되었으며, 질문에 답하고, 이야기를 쓰고, 문제를 해결하기 위해 훈련 과정에서 얻은 방대한 양의 정보를 끌어다 씁니다. 그러나 이 지식은 수년 전 서가의 업데이트가 멈춘 도서관처럼 시간에 박제되어 정적인 상태입니다. 이를 해결하기 위해 연구자들은 검색 증강 생성(retrieval-augmented generation)이라는 방법을 개발했는데, 이는 지능형 시스템이 답변을 형성하기 전에 외부 소스로부터 신선하고 구체적인 사실을 찾아 끌어올 수 있도록 해줍니다. 이러한 접근 방식은 정확한 사실과 구식 사실 사이의 차이가 안전한 결정과 위험한 오류 사이의 차이를 만들 수 있는 의료, 법률, 금융과 같은 분야에서 필수적이 되었습니다. 하지만 새로운 문제가 발생했습니다. 시스템이 새로운 정보를 찾을 수는 있지만, 그 정보가 어디에서 왔는지, 누가 작성했는지, 혹은 조작되었는지 알 수 있는 신뢰할 만한 방법이 없는 경우가 많다는 점입니다. 이러한 사실을 가져오는 과정은 종종 단일하고 불투명한 조직에 의해 제어되어, 사용자가 읽고 있는 증거가 진짜인지 아니면 조작된 것인지 확인할 수 없게 만듭니다.

이러-신뢰의 위기를 해결하기 위해, 한 연구팀은 인공지능에 정보를 공급하는 보안적이고 투명한 파이프라인 역할을 하는 TrustRAG라는 새로운 시스템을 구축했습니다. 모든 정보가 시스템에 들어오기 전, 독립적인 전문가 패널에 의해 품질 검증을 거치며, 이들은 결과에 영향을 미치지 않도록 자신의 정체를 밝히지 않은 채 투표하여 특정 개인이 결과를 조작할 수 없도록 보장하는 세상을 상상해 보십시오. 이 시스템은 공공 기록부와 유사하게 삭제하거나 변경할 수 없는 디지털 장부를 사용하여, 전문가들의 의견과 그들이 승인한 문서를 고정합니다. 사용자가 질문을 하면, 시스템은 단순히 가장 인기 있거나 최신인 문서를 가져오는 것이 아니라, 이 전문가 위원회에 의해 사전에 인증된 문서만을 검색하며, 누락되거나 교체된 것이 없는지 확인하기 위해 여러 독립적인 소스를 교차 참조합니다. 그 결과는 내장된 인증서를 동반하며, 이를 통해 누구나 답변을 원래의 검증된 출처로 추적할 수 있고, 해당 소스의 순위가 공정하게 계산되었음을 확인할 수 있습니다.

TrustRG의 핵심 혁신은 개인정보 보호와 검증 사이의 섬세한 균형을 어떻게 다루느냐에 있습니다. 기존의 많은 시스템에서는 전문가가 문서에 대한 점수를 공개할 경우, 마음을 바꾸도록 압박을 받거나 매수당할 수 있습니다. 이를 방지하기 위해 연구자들은 전문가들이 실제 점수는 숨기면서도 그 점수가 유효하다는 것을 증명하는 특수한 암호화 방식을 사용하여 평가를 제출하도록 설계했습니다. 이것은 마치 투명한 상자에 봉인된 투표 용지를 넣는 것과 같습니다. 상자는 투표가 이루어졌고 그것이 등록된 유권자로부터 왔음을 보여주지만, 컴퓨터 그룹이 함께 안전하게 최종 집계를 하기 전까지는 아무도 그 사람이 어떻게 투표했는지 볼 수 없습니다. 이 그룹은 '위원회'라고 불리며, 이들은 숨겨진 투표들을 결합하여 각 문서에 대한 최종 신뢰 점수를 산출합니다. 결정적으로, 이 점수는 한 번 계산되어 영구적으로 저장되므로, 시스템은 사용자가 질문할 때마다 복잡한 투표 과정을 반복할 필요가 없습니다. 대신, 시스템은 사전 승인된 점수를 단순히 검색하고 이를 사용하여 문서를 순위 매김으로써, 가장 신뢰할 수 있는 정보가 상단에 오르도록 보장합니다.

연구진은 이 시스템이 프로세스를 늦추지 않으면서도 보안이라는 무거운 짐을 감당할 수 있는지 테스트했습니다. 그들은 각각 자체적인 검증 위원회를 가진 다양한 데이터 소스 네트워크를 시뮬레이션하는 작동 가능한 프로토타입을 구축했습니다. 테스트 결과, 가장 시간이 많이 소요되는 부분은 사용자의 질문이 던져지기 전에 발생하는 초기 투표와 최종 점수 집계였습니다. 일단 점수가 준비되면, 답변을 검색하고 검증하는 실제 과정은 매우 빨랐습니다. 예를 들어, 투표가 유효하다는 암호학적 증명을 생성하는 데 걸린 시간은 밀리초 단위로 측정되었으며, 4명의 전문가로 구성된 작은 위원회의 숨겨진 점수를 결합하는 데 필요한 시간 또한 매우 빨랐습니다. 이는 시스템이 사용자를 기다리게 만드는 병목 현상을 만들지 않으면서도 높은 수준의 보안을 제공할 수 있음을 시사합니다.

이 연구의 중요한 발견은 시스템이 모든 것을 한꺼번에 검증하기 위해 계산 비용이 많이 들고 느려질 수 있는 하나의 거대한 증명을 의존할 필요가 없다는 것입니다. 대신, 시스템은 디지털 지문으로 독립적인 정보 체인들을 서로 연결하는 방법을 사용합니다. 각 데이터 소스는 자체적인 신뢰 점수를 계산하고 그 결과에 대한 작고 고유한 해시(hash), 즉 디지털 요약본을 생성합니다. 그러면 중앙 코디네이터가 이러한 요약본들을 하나의 글로벌 지문으로 결합합니다. 이를 통해 누구나 전체 복잡한 계산을 처음부터 다시 실행할 필요 없이, 특정 문서가 최종 답변에 포함되었는지와 그 점수가 올바르게 계산되었는지를 확인할 수 있습니다. 연구진은 이 접근 방식이 부정직한 서비스 제공자가 고품질 문서를 저품질 문서로 바꾸거나, 포함되어야 할 소스를 숨기는 것을 성공적으로 방지한다는 것을 입증했습니다.

연구는 또한 시스템이 할 수 있는 일과 할 수 없는 일을 신중하게 정의했습니다. 시스템은 검색된 정보가 변경되지 않았음과 검색 과정이 합의된 규칙을 따랐음을 보장하지만, 그 내용 자체가 현실 세계에서 사실인지 여부는 보장하지 않습니다. 만약 전문가 위원회가 사실적 오류가 포함된 문서를 실수로 승인한다면, 시스템은 그 위원회의 투표를 검증한 것이지 진술의 진위를 검증한 것이 아니기 때문에 해당 문서를 신뢰할 수 있는 것으로 취급할 것입니다. 시스템은 절차적 무결성과 변조 탐지를 위해 설계된 것이지, 절대적 진리의 신탁 역할을 하기 위한 것이 아닙니다. 이 구분은 의료나 법률과 같이 이해관계가 걸린 분야에서 매우 중요하며, 여기서 목표는 결정이 검증되지 않았거나 조작된 데이터가 아닌, 사용 가능한 최선의 적절히 검증된 증거에 기반하도록 하는 것입니다.

탈중앙화된 검증과 프라이버시 보호 기술을 결합함으로써, TrustRAG는 강력하면서도 책임 있는 인공지능 시스템을 구축하는 새로운 방법을 제시합니다. 이는 우리가 중요한 정보를 위해 의존하는 도구들이 대중이 작업을 조사할 방법이 없는 소수의 엔티티에 의해 통제되는 블랙박스가 되어가고 있다는 커지는 우려를 해결합니다. 연구진은 전문가들이 강압에 대한 두려움 없이 지식을 인증하기 위해 협력할 수 있고, 데이터 소스들이 서로를 안전하게 연결할 수 있으며, 모든 답변이 검증 가능한 이력을 가질 수 있는 시스템을 만드는 것이 가능하다는 것을 보여주었습니다. 이 작업은 신뢰할 수 있는 인공지능의 미래가 단순히 더 똑똑한 알고리즘뿐만 아니라, 신뢰를 측정 가능하고 검증 가능한 과정의 일부로 만드는 인프라를 구축하는 데 달려 있을 수 있음을 시사합니다.