🤖 AI

EnterpriseRAG: Benchmarking LLM Instruction Adherence and Robustness under Non-Ideal Enterprise Retrieval

이 논문은 6개 도메인에 걸쳐 전문가가 검증한 983개의 샘플로 구성된 종합적인 벤치마크인 EnterpriseRAG를 소개하며, 이는 노이즈가 있는 검색, 지식 공백, 사실적 충돌이 수반되는 실제 운영 환경에서 거대 언어 모델이 개별적인 제약 조건은 종종 충족할지라도 전체적인 지시 이행 능력은 현저히 무너진다는 점을 드러냄으로써 기업용 검색 증강 생성(RAG) 시스템의 결정적인 "오케스트레이션 격차"를 폭로한다.

원저자: Huiqi Miao, Xinbao Sun, Bo Wang, Fanyu Meng, Lijun Mei, Na Wu, Di Jin, Chao Deng, Junlan Feng

게시일 2026-08-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Huiqi Miao, Xinbao Sun, Bo Wang, Fanyu Meng, Lijun Mei, Na Wu, Di Jin, Chao Deng, Junlan Feng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 로봇에게 도움이 되는 비서가 되는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 지식 베이스인 도서관 한 권을 주고 질문을 던집니다. 로봇은 도서관으로 가서 몇 페이지를 집어 들고, 읽고, 답을 작성합니다. 이것을 RAG(검색 증강 생성, Retrieval-Augmented Generation)라고 부릅니다. 이는 마치 오픈북 테스트를 치르는 학생과 같습니다. 모든 것을 암기할 필요는 없지만, 정답을 맞히기 위해 적절한 페이지를 찾아 주의 깊게 읽어야 합니다.

하지만 여기 함정이 있습니다. 현실 세계의 도서관은 엉망진창일 때가 많습니다. 때로는 로봇이 질문과 전혀 상관없는 페이지를 집어 들기도 하고(노이즈), 어떤 때는 책에 답이 아예 없기도 하며(지식 공백), 또 어떤 때는 서로 다른 두 권의 책이 동일한 사실에 대해 상반된 내용을 말하기도 합니다(충돌). 대부분의 로봇 테스트는 도서관이 완벽하고 "프랑스의 수도는 어디인가?"와 같이 질문이 단순하다고 가정합니다. 하지만 실제 세상은 "지난 분기 매출을 표로 요약하되, 만약 데이터가 누락되었다면 추측하지 말고 '모름'이라고 답하고, 만약 두 보고서의 내용이 충돌한다면 둘 다 기재하라"와 같은 요청을 하는 것과 같습니다.

이 지점에서 상황은 까다로워집니다. 우리는 로봇 비서가 단순히 사실을 찾는 것을 넘어, 엄격한 규칙을 따르고, 막혔을 때는 인정할 줄 알며, 복잡한 상황에서도 헛소리를 하지 않고 문제를 해결하기를 원합니다. 만약 로봇이 이 일을 해내지 못한다면, 확신에 찬 태도로 틀린 답을 내놓을 수 있으며, 이는 중요한 결정을 내려야 하는 기업에 재앙이 될 수 있습니다.

거대한 "수행 능력(Follow-Through)"의 실패

중국 모바일(China Mobile)의 지우티안 연구소(Jiutian Research) 연구진은 이 AI 로봇들이 실제로 현실 세계의 번거로운 상황들을 얼마나 잘 처리하는지 확인하기 위해 더 강력하고 까прав한 테스트인 EnterpriseRAG를 구축했습니다. 이 테스트를 AI를 위한 일종의 "스트레스 테스트"라고 생각하면 됩니다. 이 테스트는 명령이 복잡하거나 정보가 깨져 있거나 상충할 때 AI가 얼마나 침착함을 유지할 수 있는지 확인하도록 설계되었습니다.

연구진은 에너지, 의료, 법률, 금융 등 6가지 분야에 걸쳐 983개의 까다로운 시나리오를 만들었습니다. 이 시나리오에서 그들은 단순히 간단한 질문을 던지지 않았습니다. "표를 사용하라", "추측하지 마라", "출처를 밝혀라", "만약 모순이 발견되면 나에게 알려라"와 같이 여러 규칙이 포함된 복잡한 지침을 로봇에게 주었습니다. 그런 다음, 로봇이 찾은 정보를 의도적으로 망가뜨렸습니다. 무관한 쓰레기 정보를 추가하거나, 답을 통째로 삭제하거나, 가짜 모순을 심어 놓았습니다.

거대한 발견: "오케스트레이션 격차(Orchestration Gap)"
결과는 다소 충격적이었습니다. 연구진이 로봇이 개별적인 규칙을 잘 따르는지 확인했을 때는 꽤 괜찮은 성적을 보였습니다. 약 **84%**의 경우, 로봇은 올바른 형식을 사용하거나 출처를 밝히는 것과 같은 단일 규칙을 제대로 수행했습니다. 이는 마치 학생이 모든 수학 풀이 단계는 맞혔지만 마지막 정답을 쓰는 것을 잊어버린 것과 같았습니다.

하지만 로봇이 모든 규칙을 동시에 따르는지 확인했을 때는 점수가 급락하여 고작 **27%**에 그쳤습니다. 연구진은 이를 **57점의 "오케스트레이션 격차"**라고 부릅니다. AI 모델들은 한 번에 한 가지 일을 하는 데는 뛰어나지만, 여러 복잡한 지침을 동시에 다뤄야 할 때는 무너진다는 사실이 드러났습니다. 형식은 맞췄지만 사실을 왜곡(환각)하거나, 정답은 찾았지만 데이터가 없을 때 "모름"이라고 말하는 것을 잊어버리기도 합니다.

"도움이 되고 싶은 욕구(Helpfulness)"의 함정
가장 흥iente한 발견 중 하나는 책에 답이 없을 때 로봇이 어떻게 반응하는가였습니다. 인간은 무언가를 모를 때 "모른다"라고 말해야 한다는 것을 압니다. 하지만 이 AI 로봇들은 강한 "도움이 되고 싶은 편향(helpfulness bias)"을 가지고 있습니다. 그들은 정말 도움이 되고 싶어 하기 때문에, 답을 찾을 수 없을 때 그냥 지어내는 경우가 많습니다.

테스트 결과, 정보가 누락되었을 때 답변을 거부(정답하게 '모름'이라고 말함)한 비율은 (가장 뛰어난 모델인 Claude-Opus-4.5조차) 약 **42.7%**에 불과했습니다. 나머지 **57.3%**의 경우, 그들은 자신 있게 추측하거나 환각 현상을 보이며 답을 만들어냈습니다. 이는 확신에 찬 틀린 답이 아무 답도 없는 것보다 훨씬 위험하기 때문에 매우 중요합니다.

추론은 도움이 되지만, 마법의 지팡이는 아니다
연구진은 또한 일반적인 모델보다 먼저 "생각"하는 시간(문제를 풀기 위해 잠시 멈추는 학생처럼)을 갖는 "추론(reasoning)" 모델들을 테스트했습니다. 이 모델들은 표준 모델보다 더 나은 모습을 보였습니다. 예를 들어, 이들은 두 문서가 서로 충돌하는 상황을 포착하는 데 훨씬 뛰어났습니다. 가장 좋은 추론 모델은 충돌을 **44.3%**의 확률로 포착해 낸 반면, 다른 모델들은 훨씬 낮았습니다.

그러나 "생각하는" 모델들조차 완벽하지는 않았습니다. 그들은 여전히 여러 규칙을 동시에 따르는 데 어려움을 겪었으며, 여전히 패배를 인정해야 할 때 멋대로 추측하곤 했습니다. 이 논문은 단순히 AI를 더 많이 "생각"하게 만드는 것만으로는 문제가 해결되지 않는다는 점을 시사합니다. 로봇들에게는 자신이 충분한 정보를 가지고 있는지 판단하는 법과, 흐트러짐 없이 복잡한 프로토콜을 따르는 법에 대한 더 나은 훈련이 필요합니다.

결론
이 논문은 AI가 영원히 고장 났다고 주장하는 것이 아니라, 우리가 이러한 시스템이 진지한 실무에 투입될 준비가 되었다고 과대평가하고 있음을 보여줍니다. AI가 시를 쓰거나 간단한 질문에 답할 수 있다고 해서, 그것이 복잡한 비즈니스 업무와 지저istically한 데이터, 그리고 엄격한 규칙을 처리할 수 있다는 뜻은 아닙니다. 이 시스템들을 신뢰할 수 있게 만들려면, 우리는 완벽하고 깨끗한 환경에서 테스트하는 것을 멈추고, 그들이 실제로 살아가야 할 지저분하고, 소음이 가득하며, 모순적인 세상에서 테스트를 시작해야 합니다. 우리가 이 57점의 격차를 메우기 전까지는, 이 로봇들이 스스로 중요한 결정을 내리도록 맡기는 데 매우 신중해야 합니다.

기술 요약: EnterpriseRAG

문제 정의

엔터프라이즈 검색 증강 생성(RAG) 시스템은 개별 제약 조건 충족과 전체적인 지시 이행 사이의 심각한 신뢰성 격차에 직면해 있습니다. 대규모 언어 모델(LLM)은 단일 제약 조건을 높은 비율(최대 84%)로 충족할 수 있지만, 실제 운영 환경에서는 모든 요구 사항을 동시에 만족시키는 데 빈번히 실패하며, 이는 상당한 "오케스트레이션 격차(orchestration gap)"(최저 27%의 전체론적 준수율로 관찰됨)를 초래합니다.

기존 벤치마크는 다음과 같은 이유로 실제 엔터프라이즈 배포의 복잡성을 포착하지 못합니다:

깨끗한 검색(Clean Retrieval): 노이즈 없는 고품질의 관련 문서 검색을 가정함.
단순한 질의(Simple Queries): 운영 워크플로우에서 발견되는 다차원적 제약 조건이 결여됨.
고립된 평가(Isolated Evaluation): 검색 노이즈, 지식 공백, 지시 이행 능력을 상호 보완적인 요인이 아닌 개별적인 요소로 연구함.

결과적으로, 현재의 평가는 모델이 복잡한 행동 프로토콜(예: 거절 메커니즘, 충돌 인용)을 준수하면서 노이즈가 섞인 컨텍스트, 누락된 정보, 사실적 충돌을 탐색해야 할 때 발생하는 지시 이행 능력의 심각한 붕괴를 드러내지 못합니다.

방법론

저자들은 비이상적인 엔터프라이즈 검색 조건을 체계적으로 시뮬레이션하도록 설계된 벤치마크인 EnterpriseRAG를 소개합니다.

벤치마크 구축

규모 및 범위: 이 데이터셋은 에너지, 의료, 법률, 금융, 정당 건설(Party Building), 웹 검색 등 6개 수직 도메인에 걸친 983개의 전문가 검증 샘플로 구성됩니다.
데이터 소스: 실제 운영 의도를 보장하기 위해 비식별화된 운영 RAG 로그와 실제 사용자 질의에서 파생되었습니다.
지시 스키마(Instruction Schema): 원자적 제약 조건을 세 가지 직교 차원으로 융합하여 지시 사항을 합성합니다:
1. 페르소나 정의: 역할 및 청중 컨텍스트.
2. 출력 제약 조건: 형식, 스타일, 부정적 제약(negative constraints), 순서.
3. 지식 상호작용 프로토콜: 증거 처리, 충돌 해결, 공백 식별, 불확실성 표현, 인용을 포함한 행동 규칙.
비이상적 검색 시나리오: 본 벤치마크는 이전 연구에는 없던 세 가지 특정 실패 모드를 구축합니다:
1. 검색 노이즈(Retrieval Noise): 주제적으로는 유사하지만 문맥적으로는 무관한 문서(40~60%의 무관한 콘텐츠).
2. 지식 공백(Knowledge Gaps): 검색된 증거가 질의에 답하기에 불충분한 시나리오.
3. 사실적 충돌(Factual Conflicts): 모순되는 진술을 포함하는 검색된 구절.

평가 프레임워크

저자들은 부분적 성공과 전체론적 성공을 구분하기 위해 특화된 지표를 제안합니다:

느슨한 지시 이행 점수 (Loose Instruction Adherence Score, Loose IAS): 개별 제약 조건이 충족된 비율.
엄격한 지시 이행 점수 (Strict Instruction Adherence Score, Strict IAS): 모든 제약 조건이 동시에 충족되었는지 여부를 나타내는 이진(binary) 지표.
강건성 지표 (Robustness Metrics):
- 거절 정확도(Rejection Accuracy): 지식이 누락되었을 때 답변을 거부하는 능력(환각 방지).
- 충돌 인식 정확도(Conflict Recognition Accuracy): 한 소스를 맹목적으로 신뢰하는 대신 모순되는 정보를 식별하고 보고하는 능력.
RAG 품질: 골드 레퍼런스 정답 없이도 클레임 기반 평가(RAGAS와 유사)를 사용하여 충실도(Faithfulness)와 답변 커버리지(Answer Coverage)를 측정합니다.

주요 결과

본 벤치마크는 오픈 소스(Qwen3, DeepSeek, GLM)와 폐쇄형 소스(Gemini, GPT, Claude) 모델, 그리고 표준 및 추론 강화 변형 모델을 모두 포함한 13개의 최첨단 LLM을 평가했습니다.

오케스트레이션 격차: 심각한 이행 붕괴가 관찰되었습니다. 모델들이 높은 Loose IAS(최대 83.8%)를 달성하는 동안, Strict IAS는 최저 26.8%까지 급락했습니다. 이 57포인트의 격차는 모델이 개별 제약 조건은 충족하지만 이를 전체론적으로 오케케스트레이션하는 데 실패함을 나타냅니다.
병목 구간으로서의 행동 프로토콜: 오류 분석 결과, 지식 상호작용 프로토콜(예: 충돌 처리, 공백 식별)이 구조적 형식 제약보다 훨씬 더 높은 실패율을 보이는 등 가장 높은 실패율을 나타냈습니다.
지식 공백과 환각: 모델들은 "도움이 되고자 하는 편향(helpfulness bias)"을 보여, 정보가 누락되었을 때 자주 환각을 일으킵니다. 거절 정확도는 일반적으로 낮았으나(예: Qwen3-30B-Instruct는 6.6%에 불과), 추론 강화 모델은 개선된 모습을 보였습니다(예: Claude-Opus-4.5는 42.7%).
충돌 인식: 가장 강력한 모델조차 사실적 충돌을 식별하는 데 어려움을 겪었으며, 가장 우수한 모델인 DeepSeek-R1도 44.3%의 인식률만을 기록했습니다. 표준 모델은 충돌 인식과 답변 커버리지 사이에 유의미한 상관관계가 없었으나, 추론 강화 모델은 강한 양의 상관관계( $\rho = +0.90$ )를 보였습니다.
추론의 영향: 추론 강화 모델(예: Qwen3-235B-Thinking, DeepSeek-R1)은 표준 지시 튜닝 모델보다 특히 Strict IAS와 강건성 지표에서 일관되게 우수한 성능을 보였으며, 이는 추 inference-time 추론이 엔터프라이즈급 신뢰성에 필수적임을 시사합니다.
프로토콜의 효과: 프롬프트에 지식 상호작용 프로토콜을 명시적으로 포함하는 것은 모든 모델에서 충돌 인식을 크게 향상시켰지만, 지식 공백에 대한 거절 정확도에는 완만한 효과만을 주었습니다.

의의 및 주장

본 논문은 EnterpriseRAG가 엔터프라이즈 RAG 시스템의 신뢰성 격차를 측정하고 해소하기 위한 재현 가능한 토대를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

현실적인 평가: 본 연구는 평가 패러다임을 깨끗하고 합성된 시나리오에서, 비이상적인 검색 조건 하에서의 복잡한 다중 제약 지시로 전환하여 실제 운영상의 과제를 반영합니다.
핵심 병목 지점 식별: 본 연구는 엔터프라이즈 RAG 배포의 주요 장벽이 사실적 근거 제시나 형식이 아니라, 불확실성 하에서의 행동적 판단(특히 교정된 거절 및 충돌 해결)임을 식별했습니다.
실행 가능한 통찰: 결과는 프로덕션 수준의 RAG를 달성하기 위해 다음이 필요함을 시사합니다:
1. 단순한 형식이나 사실성을 넘어 프로토콜 수준의 판단을 목표로 하는 특정 훈련 및 평가.
2. 충돌 처리를 개선하기 위해 프롬프트에 명시적인 운영 프로토콜을 포함하는 것(단, 이것만으로는 증거 공백에 대한 거절 문제를 완전히 해결할 수는 없음).

저자들은 현재의 LLM이 추론 능력을 갖추었더라도, 명시적인 컨텍스트 인식 프로토콜과 추가적인 교정 없이는 완전 자율적인 엔터프라이즈 배포에 필요한 신뢰 기준을 아직 충족하지 못한다고 결론짓습니다. 이 벤침크와 평가 프레임워크는 이러한 발전을 촉진하기 위해 공개되었습니다.