TRACE: Trustworthy Retrieval-Augmented Conversational Engine

당신이 거대하고 지저분한 다락방에서 특정한 숨겨진 보물을 찾으려고 노력하고 있다고 상상해 보세요. 이 다락방은 오래된 상자들로 가득 차 있습니다. 어떤 상자는 라벨이 명확하게 붙어 있고, 어떤 것은 라벨이 찢어져 있으며, 어떤 것은 라벨이 아예 붙어 있지도 않습니다. 이제 당신에게 이야기를 아주 좋아하는 똑똑한 로봇 조수 한 대가 있다고 상상해 보세요. 만약 당신이 로봇에게 "다락방에 금화가 어디 있어?"라고 묻는다면, 로봇은 금화에 대한 이야기를 하는 것에 너무 흥분한 나머지 존재하지 않는 장소를 지어내거나, 실제로는 낡은 양말이 들어 있는 상자를 가리킬 수도 있습니다. 이것이 바로 많은 현대 AI 챗봇이 가진 문제입니다. 그들은 말을 아주 잘하지만, 실제 사실을 찾아야 할 때 때때로 이야기를 지어내곤 합니다.

이 논문은 "검색(retrieval)"의 세계에 살고 있습니다. 검색은 질문에 답하기 전에 정보를 찾는 행위를 뜻하는 멋진 단어입니다. 또한 이 논문은 "제약 조건(constraints)", 즉 "빨간 상자만 찾아라" 또는 "1990년대 상자만 찾아라"와 같이 당신이 검색에 부여하는 구체적인 규칙들을 다룹니다. 연구자들이 던지는 핵심 질문은 이것입니다: 만약 우리가 로봇이 다락방의 '실제' 상자들만 보도록 검색 부분을 고친다면, 로봇은 이야기를 지어내는 것을 멈출 것인가? 그들은 더 나은 검색 엔진이 AI를 신뢰할 수 있게 만드는 비결인지 알고 싶어 합니다. 특히 사람들이 푸드 뱅크와 같은 실제 서비스를 찾는 데 도움이 필요할 때 말이죠.

연구진은 이 아이디어를 테스트하기 위해 TRACE(Trustworthy Retrieval-Augmented Conversational Engine)라는 새로운 시스템을 구축했습니다. TRACE를 도서관 카드를 물리적으로 확인하기 전까지는 로봇 조수가 말을 하는 것을 허용하지 않는 매우 엄격한 사서라고 생각하세요. 사용자가 "신분증이 없는데 세지윅 카운티에서 음식을 구할 수 있는 곳이 어디인가요?"와 같은 질문을 하면, TRACE는 단순히 로봇이 추측하게 내버려 두지 않습니다. 먼저, 질문을 두 부분으로 나눕니다: "구조적(structural)" 규칙(예: 특정 카운티)과 "의미적(semantic)" 규칙(예: 신분증 요구 사항)입니다.

올바른 답을 찾기 위해 TRACE는 "이중" 지도를 사용합니다. 지도의 한 부분은 **지식 그래프(Knowledge Graph)**로, 이는 사물들이 정확히 어디에 있는지(도시 → 카운티 → 푸드 뱅크) 보여주는 연결된 점들의 웹과 같습니다. 다른 부분인 **벡터 임베딩(Vector Embedding)**은 텍스트 설명(누가 도움을 받을 수 있는지 등)을 이해하는 의미의 흐릿한 구름과 같습니다. 시스템은 먼저 엄격한 웹을 사용하여 위치 규칙에 부합하는 소수의 후보 목록을 찾습니다. 그런 다음, 그 후보들이 다른 규칙에도 부합하는지 확인하기 위해 흐릿한 구름을 체크합니다. 만약 목록이 비어 있다면, 다음 배치의 후보들을 가져와 다시 시도합니다. 검증된 목록을 확보한 후에야 AI 챗봇이 최종 답변을 작성하도록 허용합니다.

팀은 약 800개의 푸드 뱅크 디렉토리와 1,000개의 가상의 질문 세트를 사용하여 이 시스템을 테스트했습니다. 그들은 아주 작은 모델부터 매우 큰 모델까지 15가지의 서로 다른 AI 모델을 사용했으며, 유명한 "독점적(proprietary)" 모델(GPT 5.5)과도 비교했습니다. 또한 그래프가 전혀 없는 버전(단순 텍사트 기반)과 위치 및 운영 시간을 결합한 슈퍼 그래프를 포함한 버전 등 다양한 버전의 "지도"를 테스트했습니다.

결과는 매우 명확했으며, 검색의 품질이 챗봇 뒤에 있는 '두뇌'의 크기보다 더 중요하다는 것을 시사했습니다. 그들이 가장 좋은 버전의 지도(위치와 운영 시간을 결합한 KG-3)를 사용했을 때, 시스템은 규칙을 따르는 능력이 훨씬 좋아졌습니다. 예를 들어, 평균 "제약 조건 충족률"(답변이 실제로 사용자의 규칙을 얼마나 잘 따랐는지)은 기본 검색의 약 64%에서 고급 지도를 사용했을 때 거의 88%로 급증했습니다. 더욱 중요한 것은, AI가 가짜 푸드 뱅크를 만들어내는 횟수(환각 현상)가 약 10%에서 단 2%로 극적으로 감소했다는 점입니다.

아마도 가장 흥과로운 발견은 검색이 좋아질수록 가장 똑똑한 AI와 가장 작은 AI 사이의 차이가 사라지기 시작했다는 점일 것입니다. 검색이 엉망이었을 때는 크고 비싼 모델들이 작은 모델들보다 훨씬 뛰어났습니다. 하지만 검색이 엄격하고 정밀해지자, 아주 작은 모델들조차 거대 모델들과 거의 비슷하게 수행했습니다. 이는 실생활의 검증된 정보를 찾아야 하는 상황에서는, 말을 잘하는 천재(LLM)를 갖는 것보다 훌륭한 사서(검색/리트리벌)를 갖는 것이 더 중요하다는 것을 시사합니다. 이 논문은 공공 서비스 챗봇이 신뢰를 얻기 위해서는 검색 부분을 먼저 고치는 데 집중해야 하며, 그것이 바로 AI가 이야기를 지어내는 것을 막는 열쇠라고 결론짓습니다.