당신에게 거의 모든 도서관의 책을 읽은 아주 똑똑한 로봇 친구가 있다고 상상해 보세요. 이 로봇은 대화하고, 이야기를 쓰고, 질문에 답하는 데 능숙합니다. 하지만 여기 함정이 있습니다. 가끔은 답을 모를 때, 너무 자신만만하게 해가 될 수 있는 가짜 이야기를 진짜처럼 지어내곤 합니다. 과학계에서는 이를 "환각(hallucination)"이라고 부릅니다. 이는 마치 역사적 전투의 날짜를 잊어버렸을 때, 사실을 말하는 대신 전쟁 중에 외계인이 싸웠다는 황당한 이야기를 지어내는 학생과 같습니다. 소규모 기업들에게 이는 매우 위험합니다. 만약 기업 운영자가 자신의 로봇 비서에게 사이버 보안이나 법률에 대한 조언을 구했는데, 로봇이 거짓말을 한다면 그 기업은 해킹을 당하거나 벌금을 물 수도 있기 때문입니다.

이를 해결하기 위해 과학자들은 "검색 증강 생성(Retrieval-Augmented Generation)", 줄여서 RAG라는 기술을 개발했습니다. RAG를 로봇에게 최신의 특정 참조 시트들이 가득 담긴 배낭을 주는 것이라고 생각해 보세요. 기억에 의존해 추측하는 대신, 로봇은 반드시 배낭을 열어 알맞은 페이지를 찾아 그 답을 소리 내어 읽어야 합니다. 이 논문은 그 참조 시트들을 정리하는 두 가지 다른 방법을 탐구합니다. 하나는 페이지들을 그냥 커다란 텍스트 더미로 두는 방식(VectorRAG)이고, 다른 하나는 아이디어들이 서로 어떻게 연결되는지 보여주는 복잡한 포스트잇 웹으로 페이지들을 연결하는 방식(GraphRAG)입니다. 핵심적인 질문은 이것입니다: 어떤 배낭이 소규모 기업을 도울 때 로봇이 진실을 말하도록 가장 잘 도와줄 것인가?

논문의 미션: 소규모 기업의 로봇을 정직하게 유지하기

이 연구는 중소기업(SME)의 복잡한 현실을 깊이 파고듭니다. 이들은 호주와 같은 지역에서 경제의 대부분을 차지하는 지역 상점, 스타트업, 가족 경영 기업들입니다. 이들은 경제의 생명선이지만, 새로운 AI 도구가 진실을 말하고 있는지 확인할 대규모 IT 전문가 팀을 보유하고 있지 않은 경우가 많습니다. 연구진은 거대 언어 모델(LLM)—그 똑똑한 로봇들의 멋진 이름—이 외부 지식을 사용하도록 강제함으로써 더 신뢰할 수 있게 만들 수 있는지 알아보고 싶었습니다.

연구팀은 두 가지 다른 "배낭" 전략을 두고 헤드 투 헤드(head-to-head) 대결을 설정했습니다.

1. VectorRAG: 이것은 거대하고 스마트한 서류 보관함이라고 상상해 보세요. 질문을 하면 시스템은 질문과 정확히 같은 단어를 사용하지 않더라도, 질문과 가장 유사한 문서들을 찾아냅니다. 이는 사서에게 "무서운 괴물에 관한 책이 필요해요"라고 요청했을 때, 사서가 그 단어들이 유사하다는 것을 알고 드래곤에 관한 책을 건네주는 것과 같습니다.
2. GraphRAG: 이것은 거대한 포스트잇 거미줄과 같습니다. 모든 사실은 하나의 점이며, 선들이 연관된 점들을 연결합니다. 만약 당신이 "사이버 보안"에 대해 묻는다면, 시스템은 "이메일 사기"나 "비밀번호"와 같이 연결된 것들을 보기 위해 선을 따라갑니다. 이는 단순히 단어를 찾는 것이 아니라 아이디어 사이의 관계를 이해하려고 노력하는 것입니다.

연구진은 세 가지 로봇 두뇌(LLaMA, Mistral, Qwen)와 사이버 보안, 사기, 비즈니스 규칙에 관한 실제 문서 모음을 사용하여 이 두 가지 방법을 테스트했습니다. 그들은 로봇에게 "소규모 기업은 어떻게 스스로를 보호할 수 있는가?" 또는 "해킹을 당하면 누구에게 전화해야 하는가?"와 같은 질문을 던졌습니다.

주요 결과: 텍text 더미가 웹보다 일관되게 우수하다

결과는 명확하고 유의미했습니다. VectorRAG 방식(스마트한 서류 보관함)이 대부분의 테스트에서 GraphRAG 방식보다 일관되게 우수한 성적을 거두었습니다. VectorRAG는 더 나은 답변을 제공했고, 실수를 적게 했으며, 훨씬 더 인간 전문가처럼 들렸습니다. 그러나 연구진은 GraphRга가 완전히 실패한 것은 아니며, 단지 이 특정 유형의 데이터와 함께 사용되었을 때 성능이 저하되었다고 언급했습니다.

데이터가 보여준 내용은 다음과 같습니다:

• 정확도: 로봇에게 질문을 했을 때, VectorRAG 모델은 "완전성"과 "관련성"에서 더 높은 점수를 받았습니다. 예를 들어, Vector-Mistral 모델은 완벽한 답과 얼마나 유사한지를 체크하는 METEOR 테스트에서 0.372를 기록한 반면, 가장 좋은 GraphRAG 모델은 0.263을 기록했습니다.
• "가짜 뉴스" 요인: 가장 중요한 발견은 "환각(hallucinations)"에 관한 것이었습니다. 즉, 로봇이 거짓말을 하는 경우입니다. VectorRAG 시스템은 환각 위험이 0.0028(1% 미만)로 매우 정직했습니다. 반면, GraphRAG 시스템은 위험도가 0.0881에서 0.1053 사이로 나타나 더 많은 거짓말을 할 가능성이 높았습니다.
• GraphRAG가 고전한 이유: 연구진은 "거미줄" 방식(GraphRAG)이 잘 작동하지 않은 이유가 사용된 문서들이 주로 개별적인 보고서와 정책 문서들이었기 때문임을 발견했습니다. 이 문서들은 견고한 웹을 구축할 만큼 강력한 연결 고리를 가지고 있지 않았습니다. 이는 마치 몇 마리의 파리만 가지고 거미줄을 만들려는 것과 같아서, 웹이 무너져 버리는 것과 같습니다. "서류 보관함" 방식(VectorRAG)은 연결이 완벽하지 않더라도 관련 있는 텍스트 페이지 전체를 가져올 수 있었기에 더 효과적이었습니다. 논문은 GraphRAG가 풍부하고 상호 연결된 데이터에 크게 의존하지만, 이 특정 SME 데이터셋에는 그러한 데이터가 제한적이었다고 제안합니다.

실제 사례: 로봇이 제대로 답할 때

연구진은 로봇이 어떻게 수행했는지 보여주기 위해 몇 가지 실제 사례를 제시했습니다.

• 잘못된 전화번호: 호주에서 사이버 공격을 신고하기 위한 긴급 번호를 물었을 때, 일반 로봇(배낭이 없는 상태)은 "1800 CYBER REPORT"라는 가짜 번호를 주었습니다. 하지만 실제 정부 문서를 보고 있는 VectorRAG 로봇은 정확한 번호인 1300 292 371을 제시했습니다.
• 전문성: 고객 불만을 어떻게 처리해야 하는지 묻자, 일반 로봇은 "친절하게 대하라"와 같은 일반적인 조언을 했습니다. 그러나 RAG가 강화된 로봇은 비즈니스 문서에서 비밀 유지와 공감에 관한 구체적인 가이드라인을 끌어와 훨씬 더 도움이 되는 답변을 제공했습니다.

시사점

이 논문은 소규모 기업, 특히 사이버 보안 정책 및 규정과 관련된 문제를 다룰 때 "스마트한 서류 보관함"(VectorRAG)이 현재로서는 더 나은 도구임을 시사합니다. 이는 로봇이 정보를 빠르게 찾도록 돕고 사실을 지어내는 것을 방지합니다. "거미줄" 방식(GraphRAG)은 거대하고 촘촘하게 연결된 데이터베이스를 가지고 있을 때 매우 잘 작동하는 멋진 아이디어이지만, 소규모 기업들이 실제로 사용하는 흩어져 있고 정책 중심적인 문서들에 대해서는 이번 테스트에서 기대만큼의 성능을 내지 못했습니다.

저자들은 이러한 검색 도구를 사용함으로써 우리가 AI를 비즈니스 세계의 작은 이들에게 훨씬 더 신뢰할 수 있게 만들 수 있다고 결듭짓습니다. 이것이 모든 것을 영원히 해결하는 마법 지팡이는 아니지만, 우리의 로봇 친구들이 진실을 말하도록 만드는 데 있어 큰 진전입니다.