💬 NLP

Rule-Based Explanations for Retrieval-Augmented LLM Systems

이 논문은 검색 증강 생성 (RAG) 기반 대형 언어 모델의 출력 근거를 설명하기 위해 소스 존재 여부와 출력 간의 인과 관계를 규명하는 규칙 기반 설명 프레임워크를 제안하고, 이를 위해 Apriori 알고리즘에서 영감을 받은 최적화 기법을 통해 규칙 생성 효율성을 높이는 방법을 제시합니다.

원저자: Joel Rorseth, Parke Godfrey, Lukasz Golab, Divesh Srivastava, Jarek Szlichta

게시일 2026-03-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Joel Rorseth, Parke Godfrey, Lukasz Golab, Divesh Srivastava, Jarek Szlichta

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"거대 언어 모델 (LLM) 이 왜 그런 답변을 했는지, 그 이유를 '규칙'으로 설명하는 새로운 방법"**을 제안합니다.

기존의 AI 는 마치 "흑상자"처럼, 입력을 넣고 답을 내면 그 과정이 어떻게 이루어졌는지 알기 어렵습니다. 특히 RAG(검색 증강 생성) 기술을 사용하면 AI 가 인터넷이나 데이터베이스에서 정보를 찾아와 답을 만들는데, "어떤 정보를 봤기 때문에 이 답을 냈는지"를 파악하는 게 매우 중요합니다.

이 논문은 이를 해결하기 위해 **"만약 ~라면, ~하다"라는 규칙 (Rule)**을 찾아내는 시스템을 개발했습니다.

🕵️‍♂️ 핵심 비유: "수술실의 블랙박스"

생각해 보세요. AI 는 수술실이고, 우리가 입력한 질문은 환자이며, AI 가 찾아온 문서들은 수술 도구입니다.

기존의 문제: AI 가 수술을 끝내고 "환자가 회복되었습니다"라고 말하면, 우리는 "어떤 도구를 썼길래 이렇게 됐지?"라고 궁금해합니다. 하지만 AI 는 "모든 도구를 다 썼어요"라고만 말하거나, 도구를 어떻게 조합했는지 설명해 주지 않습니다.
이 논문의 해결책: 이 연구팀은 **"도구 A 와 도구 B 를 함께 썼을 때만, 환자가 회복된다"**는 명확한 규칙을 찾아내는 시스템을 만들었습니다.

🧩 1. 이 기술은 어떻게 작동할까요? (규칙 찾기 게임)

이 시스템은 마치 레고 블록을 가지고 노는 것과 같습니다.

상황: AI 가 "장기 코로나 치료법은 뭐야?"라고 물었을 때, 잘못된 답변 (예: "칼슘 보충제") 을 냈다고 가정해 봅시다.
문제: 왜 잘못된 답이 나왔을까요? 검색된 5 개의 문서 중 어떤 문서가 문제였을까요?
해결: 연구팀은 이 5 개의 문서를 가지고 모든 조합을 만들어 AI 에게 다시 물어봅니다.
- "문서 1 만 줘봐" → 답이 맞음
- "문서 2 만 줘봐" → 답이 틀림
- "문서 1 과 2 를 줘봐" → 답이 틀림
- ...
결과: 결국 **"문서 2 와 문서 4 가 함께 들어오면, AI 는 무조건 잘못된 답을 낸다"**는 규칙을 찾아냅니다.
- 규칙 예시: "만약 [문서 2] 와 [문서 4] 가 검색 결과에 있다면 → AI 는 잘못된 치료를 추천한다."

이 규칙을 알면, 데이터베이스 관리자나 개발자는 "아! 이 두 문서를 섞지 말아야겠다"라고 바로 고칠 수 있습니다.

⚡ 2. 왜 이 방법이 특별한가요? (지능적인 탐색)

모든 조합을 다 확인하려면 시간이 너무 오래 걸립니다. (문서가 10 개만 있어도 조합은 1,024 가지나 됩니다!)

이 논문은 **"Apriori(아프리오리)"**라는 고전적인 데이터 마이닝 기법을 차용하되, AI 에 맞게 똑똑하게 변형했습니다.

비유: "숲을 찾는 나무"
- 일반적인 방법은 숲에 있는 모든 나무를 하나하나 확인하는 것입니다.
- 이 논문의 방법은 **"어떤 나무가 죽어있다면, 그 아래에 있는 작은 나무들도 무조건 죽어있을 것이다"**라는 논리를 사용합니다.
- 만약 "문서 2 와 4"를 넣었을 때 AI 가 엉뚱한 답을 냈다면, 거기에 "문서 3"을 더 넣었을 때도 엉뚱한 답을 낼 것이 확실합니다. 그래서 불필요한 조합은 아예 확인하지 않고 건너뜁니다 (Pruning).
- 덕분에 시간을 50%~70% 이상 절약하면서도 정확한 규칙을 찾아냅니다.

🛡️ 3. 실생활 적용 사례 (의료와 보안)

이 기술은 두 가지 큰 분야에서 활약합니다.

의료 오해 바로잡기 (Case Study 1)
- 상황: AI 가 "폐 재활 치료가 장기 코로나에 안 좋다"는 잘못된 정보를 줍니다.
- 발견: 규칙을 찾아보니, "특정 블로그 글 (문서 2) 과 anecdotal(경험담) 보고서 (문서 4) 가 함께 있을 때" AI 가 망가진다는 걸 알게 됩니다.
- 해결: 의료진이 이 두 문서를 수정하거나 제거하면, AI 는 다시 정확한 의학 정보를 제공하게 됩니다.
보안 해킹 방지 (Red Teaming)
- 상황: 해커들이 AI 시스템에 악성 코드를 심어 "보안 규칙을 무시해"라고 명령하려고 합니다.
- 발견: "악성 문서 A 와 B 가 동시에 들어오면, AI 가 보안 장벽을 뚫고 해킹 명령을 실행한다"는 규칙을 찾아냅니다.
- 해결: 개발자는 이 두 문서의 조합을 차단하는 새로운 보안 장치를 만들 수 있습니다.

📝 요약: 이 논문이 우리에게 주는 메시지

이 논문은 **"AI 가 왜 그런 말을 했는지, 단순히 '추측'하는 게 아니라 '논리적인 규칙'으로 증명하자"**고 말합니다.

기존: "AI 가 이 답을 냈구나." (그냥 끝)
이 논문: "AI 가 이 두 가지 정보를 봤기 때문에 이런 결론을 내렸어. 만약 이 정보를 빼면 다른 결론이 나와." (명확한 인과관계)

이처럼 **규칙 기반 설명 (Rule-Based Explanation)**은 AI 를 더 투명하게 만들고, 개발자들이 AI 의 실수를 빠르게 찾아내어 고칠 수 있게 도와주는 **AI 의 '설명서'이자 '진단 도구'**가 됩니다.

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 의 성능 향상과 함께 검색 증강 생성 (RAG, Retrieval-Augmented Generation) 기술이 널리 사용되고 있습니다. RAG 는 LLM 이 추론 시점에 외부 지식 소스 (문서 등) 를 검색하여 답변을 생성하게 함으로써 정확도를 높입니다. 그러나 이로 인해 모델의 출력 (Output) 이 어떤 정보 소스에 기반하여 생성되었는지에 대한 출처 (Provenance) 추적이 복잡해졌습니다.

기존의 설명 가능한 AI (XAI) 기법들은 다음과 같은 한계가 있습니다:

특성 귀속 (Feature Attribution): 입력 특성의 중요도를 점수로 매기지만, 구체적인 행동 방안 (Recourse) 을 제시하지 못합니다.
반事实적 설명 (Counterfactual Explanations): "만약 이 문서가 없다면 답이 달라졌을 것이다"와 같은 최소한의 입력 변형을 제시하지만, 하나의 예측에 대해 너무 많은 최소 반事实적 사례가 존재하여 사용자를 혼란스럽게 할 수 있습니다.

따라서, RAG 시스템의 출력에 대해 명확하고 실행 가능한 "If-Then 규칙"을 도출하여, 어떤 문서 소스의 유무가 특정 출력 (예: 오답, 허위 정보, 특정 감정) 을 결정하는지 설명하는 새로운 프레임워크의 필요성이 대두되었습니다.

2. 방법론 (Methodology)

이 논문은 RAG 시스템의 입력 (검색된 문서 집합) 과 출력 간의 인과 관계를 규명하기 위해 규칙 기반 설명 (Rule-Based Explanation) 프레임워크를 제안합니다.

2.1 규칙 공식화 (Rule Formulation)

전제 (Antecedent): RAG 시스템에 제공된 문서 소스 집합 $S$ $S$ 의 부분집합에 대한 조건입니다.
- 유지 규칙 (Retention Rule): "특정 문서 집합 $s'$ 이 포함될 때, 모델은 항상 목표 출력 $y^*$ 을 생성한다."
- 생략 규칙 (Omission Rule): "특정 문서 집합 $s'$ 이 제외될 때, 모델은 항상 목표 출력 $y^*$ 을 생성한다."
결론 (Consequent): 사용자가 정의한 임의의 출력 조건 (예: "오답을 생성한다", "특정 감정을 나타낸다") 을 만족하는지 여부를 판단하는 술어 함수 $O(y)$ 입니다.
유효성 (Validity): 규칙은 **100% 확실성 (Certainty)**을 요구합니다. 즉, 정의된 조건을 만족하는 모든 입력 조합에 대해 모델이 동일한 출력을 내야만 유효한 규칙으로 간주됩니다.

2.2 규칙 마이닝 알고리즘 (Rule Mining Algorithms)

모든 가능한 문서 조합 ( $2^{|S|}$ ) 을 brute-force 방식으로 탐색하는 것은 비효율적이므로, 두 가지 최적화 알고리즘을 제안합니다. 이는 데이터 마이닝의 Apriori 알고리즘에서 영감을 받았으나, RAG 맥락에 맞게 재정의되었습니다.

Mono Rule Miner (단일 규칙 마이너):
- 유지 규칙 또는 생략 규칙 중 한 가지 유형을 한 번의 탐색으로 찾습니다.
- 동적 프로그래밍 (Dynamic Programming): 규칙의 유효성은 조상 (상위 집합) 규칙의 유효성에 의존하므로, 상위 레벨부터 하향식 (Top-down) 탐색을 수행하며 결과를 캐싱합니다.
- 조기 종료 (Early Termination) 및 가지치기 (Pruning): 만약 어떤 규칙이 유효하지 않다면 (예: 문서가 있어도 오답이 나오지 않음), 그 규칙의 모든 하위 집합 (자손) 도 유효할 수 없습니다. 이를 이용해 탐색 공간을 대폭 줄입니다.
- 공간 복잡도 최적화: 모든 노드를 캐시하는 대신, 현재 레벨과 이전 레벨의 유효성 정보만 유지하여 공간 복잡도를 $O(|S| \cdot \binom{|S|}{|S|/2})$ 로 줄였습니다.
Dual Rule Miner (이중 규칙 마이너):
- 유지 규칙과 생략 규칙을 동시에 한 번의 탐색으로 찾습니다.
- 각 노드 (문서 집합) 를 두 가지 관점 (유지 vs 생략) 으로 해석하기 위해 마스크 (Mask) 표현을 사용합니다.
- Mono 에 비해 가지치기 효율이 다소 낮을 수 있지만, 두 가지 유형의 규칙을 별도로 실행하는 것보다 전체적인 효율이 높습니다.

2.3 검색 전략

격자 (Lattice) 구조: 가능한 모든 문서 조합을 격자 구조로 표현하고, 상단 (전체 집합) 에서 하단 (빈 집합) 으로 **너비 우선 탐색 (BFS)**을 수행합니다.
재귀적 유효성 정의: 규칙 $s'$ 이 유효하려면 $s'$ 자체와 $s'$ 의 모든 부모 (상위 집합) 가 유효해야 합니다.

3. 주요 기여 (Key Contributions)

RAG 를 위한 최초의 규칙 기반 설명 프레임워크: RAG 시스템의 출력 출처를 설명하기 위해 문서의 포함/배제를 전제로 하는 If-Then 규칙을 공식화했습니다.
효율적인 규칙 마이닝 알고리즘: Apriori 스타일의 가지치기 원리를 RAG 맥락에 적용하여, 불필요한 LLM 추론 호출을 줄이고 탐색 공간을 최적화하는 Mono 및 Dual 알고리즘을 설계했습니다.
정성적 및 정량적 평가:
- 의료 분야 사례 연구: 잘못된 치료법을 추천하는 RAG 시스템에서 특정 문서 조합이 오답을 유발함을 규명하고, 이를 수정하는 데 규칙이 어떻게 활용되는지 시연했습니다.
- AI 안전성 (Red Teaming) 사례 연구: 50 개의 적대적 문서 소스 중 특정 조합이 시스템의 안전 장치를 우회하는지 식별하는 확장 가능한 분할 정복 (Divide-and-Conquer) 전략을 제시했습니다.
- 정량적 실험: HotpotQA 데이터셋을 사용하여 알고리즘의 효율성 (가지치기율) 과 확장성을 입증했습니다.

4. 실험 결과 (Results)

효율성 (Efficiency):
- 가지치기 효과: Naive(완전 탐색) 방식에 비해 Mono 및 Dual 알고리즘은 불필요한 노드 탐색을 대폭 줄였습니다. 특히 HotpotQA 환경에서 Omission 규칙의 경우 약 70%, Retention 규칙의 경우 약 50% 의 노드만 탐색하여 효율성을 입증했습니다.
- 확장성: 문서 수 ( $|S|$ ) 가 10 개일 때, Dual 알고리즘은 약 750 번의 LLM 추론으로 모든 규칙을 찾았으며, 이는 현대 LLM 의 응답 속도를 고려할 때 수 분 내에 완료 가능한 수준입니다.
강건성 (Robustness):
- 다양한 상용 LLM (GPT-5 Mini, Gemini 2.5 Flash, Claude Haiku 4.5) 을 대상으로 실험한 결과, LLM-as-a-judge(심사자 LLM) 를 활용한 출력 판단은 높은 정밀도 (98.89%) 와 재현율 (100%) 을 보였습니다.
- LLM 의 비결정적 (Stochastic) 특성에도 불구하고, 다수결 투표 (Majority Voting) 를 통해 규칙의 유효성을 안정적으로 확인할 수 있었습니다.
실제 적용:
- 의료 사례에서는 잘못된 정보 (Document 2, 4) 가 결합될 때만 오답이 발생함을 규명하여, 해당 문서의 수정 또는 제거를 유도했습니다.
- AI 안전성 사례에서는 50 개의 적대적 소스를 78 번의 추론만으로 특정 2 개의 소스 조합이 취약점을 유발함을 찾아냈습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 RAG 시스템의 투명성과 신뢰성을 확보하기 위한 새로운 XAI 패러다임을 제시합니다.

실행 가능성 (Actionability): 단순한 특성 중요도 점수가 아닌, "어떤 문서를 제거하거나 추가해야 결과가 바뀔지"에 대한 명확한 규칙을 제공하여 개발자, 감사자, 정책 입안자가 시스템의 오류를 수정하고 (Recourse), 허위 정보를 차단하는 데 직접 활용할 수 있습니다.
확장성: 제안된 알고리즘은 문서 수가 많을 경우에도 분할 정복 전략 등을 통해 실용적으로 적용 가능함을 보였습니다.
미래 연구: 본 연구는 LLM 의 비결정적 특성을 고려한 확률적 규칙 (Approximate Rules) 탐구나, HotpotQA 와 같은 벤치마크를 활용한 새로운 LLM 평가 지표 개발의 기초를 마련했습니다.

요약하자면, 이 논문은 RAG 시스템이 "왜" 그런 답을 냈는지에 대한 명확하고 검증 가능한 논리적 규칙을 자동 생성함으로써, 블랙박스처럼 여겨지던 LLM 의 의사결정 과정을 해석 가능하고 제어 가능하게 만드는 획기적인 접근법을 제시했습니다.