기술 요약: 설명 가능한 질의응답을 위한 NeSy-RAG

1. 문제 정의

검색 증강 생성(RAG) 시스템은 외부 텍ext 코퍼스를 기반으로 대규모 언어 모델(LLM)의 성능을 향상시키지만, 고위험 영역(high-stakes domains)에서 다음과 같은 세 가지 결정적인 한계를 가집니다:

1. 불투명한 추론: 중간 추론 단계가 검증하기 어렵고, 생성된 답변이 특정 소스 근거에 신뢰성 있게 귀속되지 않습니다. 표준적인 사고 사슬(Chain-of-Thought, CoT) 설명은 종종 신뢰할 수 없습니다.
2. 확장성 및 쿼리 구성: 거대하고 단일한 지식 베이스 위에서 심볼릭 쿼리를 구축하는 것은 취약합니다. 기존의 뉴로-심볼릭(neuro-symbolic) 접근 방식은 수동으로 큐레이션된 규칙에 의존하거나 모델이 전체 지식 베이스를 조사해야 하므로 확장성 문제를 야기합니다.
3. 사용자 컨텍스트 누락: 현재의 RAG 파이프라인은 사용자별로 누락된 정보를 체계적으로 감지하는 경우가 드뭅니다. 이는 LLM이 사용자 컨텍스트가 불완전할 때 능동적으로 명확한 정보를 구하는 데 어려움을 겪기 때문에, 불완전하거나 부정확한 출력으로 이어지는 경우가 많습니다.

2. 방법론: NeSy-RAG 프레임워크

NeSy-RAG는 기존 RAG 시스템의 플러그인 확장으로 설계된 모듈형 뉴로-심볼릭 프레임워크입니다. 이 시스템은 검색된 텍스트 청크로부터 속성 부여가 가능한(attributable) Prolog 모듈을 합성하고 실행하여 설명 가능한 질의응답을 수행합니다. 파이프라인은 다음과 같이 작동합니다:

2.1. 속성 부여 가능한 Prolog 합성

각 검색된 텍스트 청크에 대해, 시스템은 해당 청크에서만 유도된 규칙과 사실을 포함하는 전용 Prolog 모듈을 합성합니다.

• 모듈성: 청크를 개별적으로 처리함으로써, 시스템은 모든 사실과 규칙이 소스 텍스트에 고유하게 매핑될 수 있도록 보장하며, 이를 통해 세밀한 설명 가능성과 검증 가능성을 실현합니다.
• 동적 vs. 보편적 사실: 시스템은 보편적 사실(도메인 지식에 의해 완전히 규정됨)과 동적 사실(합성 시점에 값이 알려지지 않은 인자를 포함함, 예: 사용자 속성)을 구분합니다. 동적 사실은 런타임 인스턴스화를 위해 플래그가 지정됩니다.

2.2. 0-항(0-Arity) 술어 추상화 및 계층적 검색

쿼리 생성의 확장성 병목 현상을 해결하기 위해, NeSy-RAG는 2단계 검색 전략을 도입합니다:

1. 모듈 합성: Prolog 모듈을 합성하는 동안, LLM은 변수 바인딩을 요구하지 않는 0-항 규칙(Boolean 클레임)을 생성합니다 (예: can_not_get_winter_fuel_payment :- lives_in_cyprus(true)...).
2. 술어 검색: 전체 지식 베이스를 로드하는 대신, 시스템은 자연어-Prolog(NL-PL) 공동 임베딩 모델을 사용하여 사용자의 질문과 가장 관련성이 높은 상위-$k$개의 0-항 규칙을 검색합니다.
3. 쿼리 구성: LLM은 이 작고 관련성 있는 규칙들의 부분 집합만을 사용하여 최종 Prolog 쿼리를 구성합니다. 이는 생성 공간을 제한하고 환각을 줄이며 컨텍스트 윈도우를 작게 유지합니다.

2.3. 심볼릭 지식 격차 탐지

프레임워크는 심볼릭 메커니즘을 통해 불완전한 사용자 컨텍스트 문제를 해결합니다:

• 런타임 상호작용: Prolog 실행 중에 시스템이 정의되지 않은 값을 가진 동적 사실을 발견하면, 특정 상호작용 메서드를 트리거합니다.
• 후속 질문 생성: 시스템은 누락된 진릿값을 해결하기 위해 사용자에게 타겟팅된 후속 질문을 자동으로 생성합니다.
• 결과 처리: 사용자가 필요한 정보를 제공할 수 없는 경우, 시스템은 두 가지 Boolean 할당 하에 쿼리를 평가합니다. 만약 결과가 달라진다면, 시스템은 추측하는 대신 "더 많은 정보 필요(more)"를 반환합니다(즉, 답이 미정임을 나타냄).

2.4. 답변 생성

시스템은 구성된 Prolog 쿼리를 검색된 모듈들에 대해 실행합니다. 출력에는 다음이 포함됩니다:

• 결정론적 답변 (Yes/No/More/Irrelevant).
• 모든 추론 단계를 기원 텍스트 청크 및 문서로 연결하는 실행 트레이스(execution trace)를 제공하여 투명한 정당성을 부여합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 제안합니다:

1. 모듈형 뉴로-심볼릭 프레임워크: 검색된 텍스트 청크로부터 속성 부여가 가능한 Prolog 모듈을 합성하고 실행하여, 모든 추론 단계를 소스로부터 추적할 수 있도록 보장하는 시스템.
2. 0-항 술어 추상화: Prolog 모듈을 Boolean 클레임으로 표면화하여, 자연어-코드 검색(NL2C)을 통한 제약된 규모의 확장 가능한 쿼리 구성을 가능하게 하는 새로운 방법.
3. 심볼릭 지식 격차 탐지: 심볼릭 추론 중 누락된 사용자 사실을 식별하고 선제적으로 후속 상호작용을 트리거하여 조기 또는 잘못된 결론을 방지하는 메커니즘.
4. 실증적 검증: 도메인 특화 학습 없이도 ShARC 벤치마크에서 도메인 불가지론적(domain-agnostic) LLM 베이스라인보다 우수한 성능을 입증함.

4. 실험 결과

프레임워크는 영국 정부 법률 텍스트를 기반으로 한 대화형 질의응답 데이터셋인 ShARC 벤치마크에서 평가되었습니다. 평가는 초기 사용자 컨텍스트가 생략된 상황을 시뮬레이션하여, 시스템이 후속 질문을 통해 누락된 정보를 복구해야 하는 환경을 가정했습니다.

• 정확도: NeSy-RAG는 ($k=10$개의 검색된 0-항 술어 사용 시) 61.1%의 정확도를 달성하였으며, 이는 LLM RAG 베이스라인(42.8%)과 더 큰 모델을 사용한 LLM RAG 베이스라인(53.7%)을 크게 상회하는 수치입니다.
• 효율성: NeSy-RAG는 RAG 베이스라인(11.4초)에 비해 낮은 평균 실행 시간(7.4초)을 기록했습니다. 이러한 효율성은 모듈 재사용성, 쿼리 생성 시의 작은 컨텍스트 윈도우, 그리고 LLM 기반 생성 대신 알고리즘 기반의 후속 트리거링 덕분입니다.
• 지식 격차 처리: NeSy-RAG는 추가 정보가 필요한 사례(label "more")를 61% 정확하게 분류하였으며, 이는 LLM RAG 베이스라인의 19%와 대비됩니다. 이는 심볼릭 격차 탐지 메커니즘의 효과를 강조합니다.
• 오류 분석: NeSy-RAG의 주요 오류 모드는 동적 술어를 과잉 생성하여, 답변 가능한 질문을 보수적으로 "more"로 분류하는 것이었습니다 (31%의 "Yes" 사례가 "more"로 오분류됨). 그러나 이러한 보수적인 편향은 고위험 영역에서 허위 확신(false certainty)보다 바람직한 것으로 간주됩니다.

5. 의의 및 주장

본 논문은 NeSy-RAG가 법률 및 의료와 같은 고위험 영역에서 신뢰할 수 있고 설명 가능한 AI를 향한 실행 가능한 경로를 제공한다고 주장합니다. 밀집 검색(dense retrieval)과 심볼릭 추론을 결함함으로써, 이 시스템은 표준 RAG 파이프라인의 불투명성과 책임성 결여 문제를 직접적으로 해결합니다.

저자들은 NeSy-RAG의 의의가 다음과 같은 능력에 있다고 주장합니다:

• 추론 단계를 소스 텍스트와 연결하는 투명한 실행 트레이스를 제공하며, 이는 순수 LLM 파이프라인이 갖지 못한 능력입니다.
• 단일한(monolithic) 지식 베이스나 수동 규칙 큐레이션 없이도 대규모 도메인 코퍼스에 대한 확장 가능한 추론을 가능하게 합니다.
• 누락된 사용자 사실을 체계적으로 탐지하고 해결함으로써, 정보가 불충분할 때 시스템이 답변을 환각하는 것을 방지합니다.

현재 이 접근 방식은 단일 관련 스니펫(single-hop retrieval)에 의존하고 Boolean 동적 술어에 초점을 맞추고 있지만, 저자들은 모듈형 Prolog 합성의 성공적인 통합이 더 강력하고 검증 가능하며 상호작용적인 질의응답 시스템을 향한 기초적인 단계라고 보고 있습니다.