Tokengeist: Multi-Turn Attribution Tracing in Agentic Conversations
이 논문은 대화 턴 전반에 걸쳐 토큰 수준의 의존성을 재귀적으로 추적함으로써 다회차 대화에서 단일 패스 기여도 산출 방식의 한계를 해결하고, 기존 방식들에 비해 복잡한 출처 그래프를 복구하는 데 있어 현저히 높은 정확도를 달성하는 확장 가능한 프레임워크인 Tokengeist를 소개한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신이 가장 좋아하는 TV 쇼의 탐정 캐릭터가 왜 갑자기 특정한 방식으로 사건을 해결하기로 결정했는지 그 이유를 알아내려고 노력 중이라고 상상해 보세요. 당신은 최종 결론을 알고 있지만, 쇼는 시간을 건너뛰며 보여줍니다. 탐정이 목격자와 대화하고, 지도를 확인하고, 친구에게 전화를 한 뒤, 마침내 결정을 내리는 식이죠. 만약 당신이 아주 마지막 장면만 본다면, 그 결정이 친구로부터 왔다고 생각할 수도 있습니다. 하지만 만약 그 친구가 단지 목격자가 말한 내용을 반복한 것이고, 그 목격자는 지도에서 얻은 정보를 전달한 것이라면 어떨까요? 이야기를 진정으로 이해하려면, 단순히 마지막 순간만을 보는 것이 아니라, 그 결정을 이끌어낸 모든 대화와 행동을 통해 단서의 흔적을 단계별로, 역순으로 추적해야 합니다. 이것이 바로 과학자들이 인공지능(AI)을 통해 해결하려고 노력 중인 종류의 퍼즐입니다.
AI의 세계, 특히 우리가 사용하는 초스마트 챗봇인 거대 언어 모델(LLM)의 세계에는 성장하는 문제가 하나 있습니다. 이러한 모델들은 우리와 긴 대화를 나누며 질문을 던지고, 우리가 답하면, 데이터베이스를 확인하고, 최종 답변을 내놓곤 합니다. 때때로 최종 답변은 다섯 번 전의 대화에서 언급된 아주 작은 세부 사항에 의존하기도 하는데, 모델이 이를 요약하고, 그 요약본을 바탕으로 도구(tool)를 호출하여, 마침내 답변에 이르게 됩니다. 핵심적인 질문은 이것입니다: 그 긴 대화 중 정확히 어느 부분이 최종 답변을 형성했는지 어떻게 알 수 있을까요? 현재 이 질문에 답하려는 대부분의 도구는 오직 눈앞의 방만을 비추는 손전등처럼 작동합니다. 그들은 전체 채팅에서 어떤 단어가 중요한지는 알려줄 수 있지만, 정보가 시작부터 끝까지 어떻게 흘러갔는지에 대한 "스토리라인"은 놓치고 맙니다. 이는 우리가 AI가 어디서 사실을 가져왔는지 추적할 수 없다면, 그것을 신뢰하거나, 오류를 수정하거나, 왜 거짓말을 하는지 이해할 수 없다는 점에서 매우 중요합니다.
여기에 제시카 탕(Jessica Tang), 슈라다 바르케(Shraddha Barke), 샤라드 아가르왈(Sharad Agarwal) 연구진이 도입한 새로운 방법론인 **토큰게이스트(Tokengeist)**가 있습니다. AI의 사고 과정을 추적하는 기존의 방식을 "평면적인" 지도라고 생각해 보세요. 만약 평면 지도로 소문의 근원을 찾으려 한다면, 그 지도는 당신에게 소문을 마지막으로 전달한 사람을 가리킬 수는 있겠지만, 그 사람이 누구에게 들었는지는 알려주지 못할 것입니다. 연구진은 이러한 실패를 **"프로비넌스 콜랩스(provenance collapse, 출처 붕괴)"**라고 부릅니다. 이는 마치 전달 게임(말 전달하기 게임)과 같아서, 메시지가 세 사람 전에서 이미 왜곡되었음에도 불구하고 결국 마지막 플레이어가 메시지의 원인으로 몰리는 것과 같습니다. 평면적인 방식은 전체 이력을 단일 레이어로 붕합시켜 버림으로써, 정보의 깊고 다단계적인 여정을 놓치게 됩니다.
이 문제를 해결하기 위해 연구팀은 재귀적인 탐정 역할을 하는 토큰게이스트를 구축했습니다. 토큰게이스트는 단순히 최종 답변을 보고 "누구와 대화했나요?"라고 묻는 대신, "누구와 대화했나요?"라고 묻고, 그가 언급한 모든 사람에 대해 다시 "그리고 그 사람은 누구와 대화했나요?"라고 묻습니다. 이는 대화의 턴(turn)을 통해 단계별로, 역순으로 계속 파고듭니다. 이 방식은 대화를 가지치기 형태의 나무(또는 아이디어의 가계도)처럼 취급하며, 그 가지들을 따라가 최초의 잎사귀, 즉 원래의 사용자 입력이나 도구의 결과물에 도달합니다.
연구진은 이 아이디어를 테스트하기 위해 665개의 다양한 다회차 대화에서 추출한 3,845개의 구체적인 답변 부분을 포함하는 새로운 벤치마크인 MTCABENCH를 만들었습니다. 이 대화들은 항공권 예약이나 은행 계좌 확인과 같은 도구 사용을 포함하고 있어 까다로웠으며, AI가 많은 단계의 정보를 체인처럼 연결해야 했습니다. 연구 결과, 기존의 "평면적" 방식은 형편없는 수준이었습니다. 정보의 원래 출처를 찾으라는 요청에 대해, 평면적 방식은 성공률이 20% 미만이었습니다. 그들은 이야기의 중간 단계에서 계속 막혀버렸습니다.
반면, 토큰게이스트는 게임 체인저였습니다. 경로를 재귀적으로 역추적함으로써, 토겐게이스트는 정보의 원래 출처를 90% 이상의 확률로 성공적으로 찾아냈습니다. 그것은 단순히 추측하는 것이 아니라, 전체 여정을 지도화했습니다. 예를 들어, AI가 "보험이 있으므로 항공권을 취소할 수 있습니다"라고 말한다면, 평면적 방식은 단순히 취소 확인서를 가리킬 것입니다. 그러나 토큰게이스트는 이를 보험이 있음을 보여주는 도구 결과로 추적하고, 다시 그 도구 결과를 불러온 사용자의 ID로, 그리고 최종적으로 사용자의 원래 요청까지 거슬러 올라갑니다.
이 논문은 이러한 재귀적 접근 방식이 AI의 투명성을 만드는 핵심이라고 제안합니다. 단순히 전체 대화를 한꺼번에 보는 것만으로는 부족하며, 대화의 구조, 즉 한 턴이 다른 턴에 어떻게 의존하는지를 이해해야 한다는 것을 보여줍니다. 이 방법은 테스트된 특정 AI 모델들(상대적으로 작고 오픈 소스인 모델들)과 함께 사용할 때 가장 효과적이지만, 결과는 복잡한 다단계 AI 에이전트를 다룰 때 우리가 대화를 단순히 단어들의 평면적인 목록으로 취급하는 것이 아니라, 서로 연결된 의존 관계의 웹으로 취급해야 함을 강력하게 시사합니다. 토큰게이스트는 AI가 무엇을 말했는지만 알려주는 것이 아니라, 그 말을 하게 된 전체 이야기의 과정을 이해하도록 도와줍니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.