Development of an Agentic Retrieval-Augmented Generation System with Hybrid Retrieval for Budget Planning and Validation
본 연구는 중소기업(SME)의 예산 계획을 위한 하이브리드 검색 기반의 에이전틱 검색 증강 생성(Agentic RAG) 시스템을 제안하며, 비교 평가를 통해 라우팅 기반 에이전틱 워크플로가 증거 기반 검증을 위한 검색 품질과 사실적 근거 형성 사이의 최적의 균형을 제공함을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
조직 관리의 조용하고 종종 지루한 세계에서, 예산은 단순한 숫자 목록 그 이상입니다. 그것은 조직이 무엇을 하려는 의도인지에 대한 약속이자, 실제로 무엇을 지출했는지에 대한 기록입니다. 중소기업의 경우, 이 약속을 지키기 위해서는 모든 제안된 비용을 공식적인 규칙, 과거의 지출 습관, 그리고 시장의 현실과 대조하여 확인하는 엄격한 과정이 필요합니다. '예산 검증(budget validation)'이라고 알려진 이 작업은 필요한 정보가 여기저기 흩어져 있기 때문에 악명 높게 어렵습니다. 관리자는 특정 품목의 가격에 대한 공식 정부 규정, 과거 프로젝트 비용이 담긴 스프레드시트, 그리고 특정 비용이 왜 정당한지를 설명하는 서술형 메모를 교차 참조해야 할 수도 있습니다. 이러한 문서들은 서로 다른 형식으로 존재합니다. 어떤 것은 경직된 숫자 표 형태인 반면, 다른 것들은 예외 사항과 조건이 가득한 흐르는 듯한 텍스트 형태입니다. 인간이 예산이 합리적이라는 것을 증명하기 위해 이 데이터의 미로를 헤매려 할 때, 그 과정은 느리고 오류가 발생하기 쉬우며 종종 증거의 공백을 남깁니다.
이를 해결하기 위해 연구자들은 '검색 증강 생성(Retrieval-Augmented Generation)'이라 불리는 일종의 인공지능에 주목했습니다. 시스템이 단순히 자신의 학습 내용을 바탕으로 답을 추측하는 것이 아니라, 말을 하기 전에 먼저 도서관의 문서들로부터 필요한 구체적인 사실들을 찾아 나서는 모습을 상상해 보십시오. 그러나 표준 버전의 이 기술은 숫자와 텍스트를 동일한 것으로 취급하기 때문에, 회계에 필요한 정밀한 값을 놓치는 경우가 많아 금융 데이터 처리에 어려움을 겪습니다. 이 간극을 메우기 위해 인도네시아와 말레이시아의 연구진은 숫자와 예산 계획의 맥락을 모두 다룰 수 있도록 설계된 특화된 시스템을 개발했습니다. 그들은 데이터베이스에서 정확한 비용 수치를 찾아내는 동시에, 그 숫자의 이면에 있는 규칙을 이해하기 위해 서술형 가이드라인을 읽어낼 수 있는 도구를 만들었습니다.
연구진은 이 지능형 시스템을 구성하는 세 가지 다른 방식을 테스트했는데, 이는 컴퓨터 프로그램을 단일한 뇌라기보다는 하나의 팀 단위의 작업자들처럼 취급한 것입니다. 첫 번째 접근 방식은 단일 에이전트를 사용했습니다. 이는 모든 정보를 찾고 답변을 작성하는 책임을 지는 고독한 작업자입니다. 두 번째 접근 방식은 '라우터(router)'라는 교통 관제사를 도입했습니다. 이 라우터는 사용자의 질문을 먼저 듣고, 이것이 단순한 규칙에 관한 질문인지, 특정 예산을 확인하려는 요청인지, 아니면 권고 사항이 필요한 것인지 판단하여 문제의 유형을 결정합니다. 그 결정에 따라 라우터는 특화된 도구들이 사용될 수 있는 특정 경로로 작업을 보냅니다. 세 번째 접근 방식은 가장 복잡한 방식으로, '오케스트레이터(orchestrator)'를 사용하여 단일 질문을 더 작은 부분들로 나누고, 서로 다른 증거를 찾도록 서로 다른 작업자들에게 임무를 부여한 다음, 최종 작업자가 이 모든 조각들을 모아 하나의 답변으로 엮어내도록 합니다.
연구팀은 실제 예산 업무를 모방한 30가지의 서로 다른 시나리오를 사용하여 이 세 가지 방법을 테스트했습니다. 그들은 각 시스템이 정보를 얼마나 잘 찾아내는지, 정보를 얼마나 충실하게 따르는지(내용을 지어내지 않는지), 그리고 답변을 내놓는 데 시간이 얼마나 걸리는지를 측정했습니다. 결과에 따르면 단일 작업자가 약 27초 만에 작업을 완료하여 가장 빨랐지만, 필요한 증거를 찾는 데 있어서는 덜 철저했습니다. 가장 복잡한 작업자 팀은 86초 이상이 소요되어 가장 오래 걸렸으며, 좋은 정보를 찾아내기는 했으나 추가적인 조정에 소요된 시간이 반드시 더 나은 최종 답변으로 이어지지는 않았습니다. 교통 관제사가 있는 중간 경로가 가장 효과적인 것으로 드러났습니다. 응답하는 데 약 78초가 걸렸지만, 적절한 증거를 찾는 데 가장 정확했으며 모든 주장이 실제 문서에 의해 뒷받침되도록 하는 데 가장 신뢰할 수 있었습니다.
연구진이 '라우팅 기반 에이전틱 RAG(Routing-Based Agentic RAG)'라고 부르는 이 중간 접근 방식이 이 작업에 가장 적합한 선택으로 나타났습니다. 이 방식은 관련 맥맥을 찾는 데 있어 가장 높은 점수를 기록했으며, 출처 자료에 충실하다는 의미의 충실도(faithfulness) 점수 0..878을 기록하여 사실을 거의 지어내지 않았습니다. 또한 가장 복요한 시스템과 함께 가장 높은 정밀도(precision) 점수인 0.731을 공유했는데, 이는 검색된 정보가 매우 관련성이 높음을 나타냅니다. 연구진은 사용자가 실제로 필요로 하는 바에 따라 작업을 분리함으로써, 시스템이 각 상황에 맞는 전략을 적용할 수 있다는 것을 발견했습니다. 사용자가 규칙을 물으면 시스템은 엄격하게 공식 가이드라인을 살펴보는 법을 알았습니다. 사용자가 예산 항목을 검증해 달라고 하면 시스템은 비교를 위해 과거 데이터를 불러오는 법을 알았습니다. 사용자가 권고를 요청하면 시스템은 규칙과 과거 경험을 혼합하는 법을 알았습니다.
본 연구는 모든 숫자가 출처로 추적 가능해야 하는 중요한 과업인 예산 검증에 있어서, 정보를 검색하는 능력은 속도보다 더 중요하다는 결론을 내립니다. 단순하고 빠른 시스템은 유창하게 답변할 수는 있지만, 예산이 합리적임을 입증하는 구체적인 세부 사항을 놓칠 위험이 있습니다. 라기팅 시스템은 질문을 가장 적절한 경로로 안내함으로써, 답변이 매끄러울 뿐만 아니라 사실에 근거하도록 보장합니다. 연구진은 이 시스템이 인간 결정권자를 대체하는 것이 아니라 지원하기 위해 설계되었다는 점을 언급했습니다. 시스템은 증거와 비교 자료를 제공하지만, 비용이 합리적인지에 대한 최종 판단은 여전히 인간 관리자의 몫으로 남습니다. 이 연구는 복잡한 재무 기록을 다루는 조직에 있어, 숫자와 텍스트를 지능적으로 분류하고 검색할 수 있는 시스템이 예산 과정에 명확성과 책임감을 가져올 수 있는 강력한 방법이 될 수 있음을 시사합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.