💬 NLP

Derivation Prompting: A Logic-Based Method for Improving Retrieval-Augmented Generation

본 논문은 지식 집약적 작업에서 환각과 오류 추론을 체계적으로 줄이기 위해 해석 가능한 유도 트리를 구성하는 새로운 논리 기반 프롬프팅 기법인 Derivation Prompting을 소개합니다.

원저자: Ignacio Sastre, Guillermo Moncecchi, Aiala Rosá

게시일 2026-05-15

📖 3 분 읽기☕ 가벼운 읽기

원저자: Ignacio Sastre, Guillermo Moncecchi, Aiala Rosá

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 매우 똑똑하고 독서량이 풍부한 사서 (AI) 가 있는데, 질문에는 잘 대답하지만 때로는 사실을 지어내거나 정답이 명확하지 않을 때 혼란을 겪는다고 가정해 봅시다. 이는 특히 문서 더미를 바탕으로 구체적인 질문에 답할 때 현재 AI 모델들에게서 흔히 발생하는 문제입니다.

이 논문은 이 사서와 대화하는 새로운 방식을 소개합니다. 이를 유도 프롬핑 (Derivation Prompting) 이라고 부릅니다. 단순히 "정답은 무엇인가?"라고 묻고 최선의 결과를 기대하는 대신, 저자들은 사서에게 퍼즐을 풀거나 수학 문제를 증명하듯 정답을 단계별로 구성하도록 가르칩니다.

다음은 이를 단순한 개념으로 분해한 작동 방식입니다:

1. 문제: "환각"을 일으키는 사서

일반적으로 AI 에게 질문을 하면, 책에서 관련 페이지 몇 장을 찾아 즉시 답변을 작성하려 합니다. 때로는 맞기도 하지만, 종종 "환각 (hallucinate)"을 일으킵니다. 즉, 책에 실제로 없는 내용을 확신에 차서 말하거나 사실을 뒤섞는 것입니다. 이는 교과서를 보지 않고 "아는 것 같다"는 생각만으로 시험 문제를 추측하는 학생과 같습니다.

2. 해결책: "논리 트리" 구축

저자들은 논리 증명 (logic proofs) 에서 영감을 받은 새로운 방법을 제안합니다. 나무를 짓는다고 상상해 보세요.

뿌리: 문서에서 찾은 사실들 (가설들) 입니다.
가지: 이러한 사실들을 연결하기 위해 취하는 단계들입니다.
열매: 최종 답변입니다.

열매로 바로 뛰어가는 대신, AI 는 먼저 가지를 키워야 합니다. 사실들을 결합하기 위해 규칙 (레시피와 같은) 의 특정 집합을 따라야 합니다.

3. 규칙: AI 의 "도구 상자"

이 논문은 AI 가 할 수 있는 일련의 "동작"을 정의하는데, 보드게임의 수와 유사합니다. 예를 들어:

추출 (Extract): "문서에서 이 특정 문장을 가져오세요."
결합 (Combine): "사실 A 와 사실 B 를 가져와서 하나로 합치세요."
정제 (Refine): "질문에 더 잘 맞도록 이 사실을 다시 표현하되, 의미를 바꾸지 마세요."
정보 없음 (NoInfo): "어떤 사실도 도움이 되지 않는다면, 모른다고 인정하세요."

AI 는 규칙을 하나 선택해 사실에 적용하고 그 결과를 기록해야 합니다. 그런 다음 그 결과를 보고 결정합니다: "이것이 최종 답변인가? 아니면 이 새로운 결과에 다른 규칙을 적용해야 하나?"

4. 이것이 도움이 되는 이유: "건설 현장" 비유

일반적인 AI 답변은 벽을 세우고 서 있을지 모른다고 기대하는 시공자와 같습니다. 벽이 비뚤어지면 무너질 때까지 왜 그런지 알 수 없습니다.

유도 프롬핑은 설계도와 단계별 시공 일지를 보여줘야 하는 시공자와 같습니다.

해석 가능성: AI 가 단계들의 "트리"를 구축하기 때문에, 중간 가지를 살펴보며 "잠깐, 이 두 사실을 잘못 결합했네" 또는 "여기서 사실을 지어냈군"이라고 말할 수 있습니다. 경로가 보이므로 실수를 훨씬 쉽게 찾아낼 수 있습니다.
통제: AI 가 규칙을 따르도록 강제함으로써, 엉뚱한 곳으로 가거나 사실을 지어낼 가능성이 줄어듭니다. 이는 AI 에게 엄격한 체크리스트를 주는 것과 같습니다. 단계를 건너뛰거나 새로운 단계를 만들어낼 수 없습니다.

5. 발견한 점

저자들은 이 방법을 실제 세계 문제인 대학 행정 규정과 관련된 학생들의 질문에 답하는 데 테스트했습니다. 세 가지 방법을 비교했습니다:

긴 컨텍스트 (Long Context): AI 에게 책 전체를 한 번에 제공.
표준 RAG: 몇 페이지를 가져와서 답변하는 일반적인 방법.
유도 프롬핑: 새로운 단계별 규칙 방법.

결과:

새로운 방법은 "나쁜" 답변 (잘못되었거나 사실을 지어낸 답변) 을 현저히 줄였습니다.
반드시 정답을 찾는 속도를 빠르게 만든 것은 아니지만, AI 가 제시한 답변의 신뢰성을 크게 높였습니다.
매우 똑똑한 AI 모델 (Claude Opus) 과 가장 잘 작동했습니다. 작고 덜 강력한 모델 (Claude Haiku) 은 규칙을 따를 수 있었지만 때로는 막히거나 고품질 답변을 덜 생산했는데, 이는 AI 가 논리 지시사항을 따르기 위해 "충분히 똑똑해야" 함을 보여줍니다.

결론

이 논문은 AI 가 추측하는 것을 막기 위해 논리적이고 규칙 기반의 트리 구조를 사용하여 "자신의 작업 과정을 보여달라"고 강제하는 방법을 제안합니다. 이는 AI 를 자신감 있는 추측자에서 신중한 단계별 문제 해결사로 전환시켜, 중요하고 사실에 기반한 질문에 사용할 때 훨씬 더 안전하게 만듭니다.

기술 요약: 검색 증강 생성을 위한 유도 프롬프팅

문제 제기
대형 언어 모델 (LLM) 은 질문 응답 (QA) 분야에서 진전을 이루었지만, 지식 집약적이고 도메인 특화적 작업에서 특히 환각과 오류 있는 추론에 여전히 취약합니다. 검색 증강 생성 (RAG) 프레임워크는 검색된 문서를 기반으로 모델 생성을 grounding 함으로써 이를 완화하려 시도합니다. 그러나 체인 오브 씽킹 (CoT) 및 트리 오브 씽킹 (ToT) 과 같은 기존 추론 향상 기법들은 중간 추론 단계가 어떻게 구성되어야 하는지에 대한 명시적 제약을欠乏합니다. 이러한 체계적 방법론의 부재는 모델이 통제되지 않은 추론 경로를 생성하게 하여, 맥락이 제공되더라도 오류 있는 논리와 환각을 초래합니다.

방법론: 유도 프롬프팅 (Derivation Prompting)
저자들은 명제 논리의 논리적 유도에서 영감을 받아 RAG 프레임워크의 생성 단계를 위한 새로운 기법인 유도 프롬프팅을 제안합니다. 이 방법은 자유 형식의 답변을 생성하는 대신, 초기 가설 집합 (검색된 문서 조각) 으로부터 미리 정의된 규칙을 사용하여 결론을 체계적으로 추론하는 구조화된 '유도 트리'를 구성합니다.

핵심 메커니즘: 검색된 조각을 가설 집합 $\{h_1, \dots, h_n\}$ 으로 간주합니다. LLM 은 자연어 규칙 세트를 적용하여 이러한 가설을 변환하거나 결합하여 쿼리 $q$ 에 대한 답변인 결론 $c$ 를 유도하도록 tasked 됩니다.
규칙 세트: 이 방법은 자연어로 정의된 특정 규칙 세트를 활용합니다.
- Extract (추출): 가설의 특정 부분을 분리합니다.
- Concat (연결): 독립적인 가설들을 결합합니다.
- Instantiate (구체화): 가설을 특정 사례에 맞게 일반화합니다.
- Compose (구성): 공통 요소를 공유하는 가설들을 병합합니다.
- Refine (정제): 의미를 변경하지 않고 쿼리에 맞게 가설을 적응시킵니다.
- NoInfo (정보 없음): 가설에 필요한 정보가 명시적으로 부족할 때 이를 명시합니다.
알고리즘적 실행: 이 과정은 반복적입니다. LLM 은 적용할 규칙을 결정하고, 관련 가설을 선택하며, 새로운 결론을 생성합니다. 결론이 최종 답변이 아닌 경우, 후속 단계를 위해 가설 목록에 추가됩니다.
구현 전략: 저자들은 두 가지 구현 접근 방식을 평가했습니다.
1. One-step prompt: 각 규칙 적용을 독립적인 LLM 호출로 격리합니다.
2. Whole derivation prompt: Few-Shot 전략을 사용하여 단일 추론 호출에서 전체 유도 트리를 구성하도록 LLM 을 안내합니다.
  연구 결과, Whole derivation prompt가 $n$ 번의 추론을 한 번으로 대체하여 계산 효율성이 현저히 높으면서도 동등한 결과를 산출하는 것으로 나타났습니다.

사례 연구 및 평가
이 방법은 우루과이의 Universidad de la República 공과대학 행정 정보라는 특정 도메인에서 평가되었습니다.

데이터셋: 개인 정보를 제거하기 위해 처리된 역사적 이메일에서 파생된 135 개의 실제 사용자 쿼리.
베이스라인: 연구는 유도 프롬프팅을 다음과 비교했습니다.
- 표준 RAG (검색을 위해 Cross-Encoder 사용).
- 긴 컨텍스트 윈도우 접근법 (전체 문서를 모델에 직접 입력).
모델: 실험에는 Anthropic 의 Claude 3 계열 (Haiku 및 Opus) 이 사용되었습니다.
평가 지표: '수용 불가 (모순/거짓, 점수 1~~2)'와 '수용 가능 (비모순, 점수 3~~5)'을 구분하는 rubric 에 기반하여 1~5 점 척도로 답변을 평가하는 Claude Opus 를 판사로 활용한 자동 평가.

결과
실험은 유도 프롬프팅이 RAG 시스템의 정밀도를 크게 향상시킨다는 것을 입증했습니다.

수용 불가 답변 감소: Claude Opus 를 사용한 유도 프롬프팅은 89.6% 의 수용 가능한 답변을 달성한 반면, 표준 RAG 는 77.8%, Long Context 방법은 76.3% 였습니다. 이는 환각과 모순된 정보의 상당한 감소를 의미합니다.
정밀도 대 재현율: 이 방법은 오류 (점수 1 및 2) 를 극적으로 줄였으나, 반드시 매우 상세한 답변 (점수 4 및 5) 의 수를 증가시킨 것은 아닙니다. 다른 방법들이 환각으로 실패한 많은 경우에서, 유도 프롬프팅은 NoInfo 규칙을 통해 정보 부족을 올바르게 식별했습니다 (점수 3).
모델 의존성: 이 방법의 효과는 모델 능력과 상관관계가 있습니다. Claude Opus 는 견고하게 수행된 반면, 더 작은 Claude Haiku 모델은 오류를 줄임에도 불구하고 고품질 답변 (점수 4 및 5) 의 수가 감소하는 것을 보였는데, 이는 유효한 유도를 구성하는 데 상당한 모델 역량이 필요함을 시사합니다.
해석 가능성: 주요 발견 중 하나는 유도 트리가 해석 가능하다는 점입니다. 오류가 발생하더라도 특정 규칙 적용 (예: Refine 단계 중의 환각) 으로 추적할 수 있어, 사용자는 잘못된 답변을 받는 것이 아니라 오류 있는 추론을 식별할 수 있습니다.

의의 및 주장
본 논문은 유도 프롬프팅이 기존 추론 기법에 대한 통제 가능하고 해석 가능한 대안을 제공한다고 주장합니다. 미리 정의된 논리 규칙의 시퀀스를 통해 생성 과정을 강제함으로써, 이 방법은 모델이 환각을 일으킬 수 있는 자유도를 제한하여 답변이 검색된 문서를 기반으로 유지되도록 보장합니다. 저자들은 이 방법이 정밀도를 향상시키고 수용 불가 출력을 줄이지만, 그 성공은 기반 LLM 이 규칙 기반 논리를 효과적으로 이해하고 적용할 수 있는 능력에 달려 있음을 강조합니다. 이 작업은 적절한 규칙 세트가 정의된다면, 이러한 논리 기반 접근 방식이 다른 RAG 시나리오와 잠재적으로 비 RAG 작업에도 일반화될 수 있음을 시사합니다.