기술 요약: 사후 생성 메모리 검색을 통한 언어 모델 기반 SPARQL 쿼리 생성의 환각 현상 감소

문제 정의

자연어 질문으로부터 SPARQL 쿼리를 생성하는 것은 지식 그래프(KG)로부터 구조화된 데이터를 검색하는 데 필수적입니다. 대규모 언어 모델(LLM)이 이 작업에 채택되어 왔지만, 심각한 신뢰성 문제를 겪고 있습니다. 구체적으로, LLM은 KG 요소를 생성할 때 URI(Uniform Resource Identifier)를 환각(hallucinate)하는 경향이 있습니다. 현대적인 KG(예: Wikidata)는 의미론적인 문자열 대신 불투명하고 비의미적인 식별자(예: 알베르트 아인슈타인을 위한 "Q937")를 사용하기 때문에, LLM은 개념을 이 ID로 매핑하기 위해 오직 자신의 내부 파라미터 메모리에만 의존해야 합니다. 이러한 의존성은 그럴듯해 보이지만 존재하지 않는 URI를 생성하게 만들어, 정보 검색 시스템의 정확성과 안전성을 저해합니다.

RAG(Retrieval-Augmented Generation)와 같은 기존 솔루션은 생성 전에 컨텍스트를 제공함으로써 이를 완화하려고 시도합니다. 그러나 RAG는 LLM이 검색된 컨텍스트에 엄격하게 제약되지 않고 여전히 내부 지식을 바탕으로 잘못된 식별자를 생성할 수 있기 때문에 환각을 완전히 제거하는 데 실패하는 경우가 많습니다. 또한, 기존의 많은 SPARQL 생성 방식은 "태그가 지정된(tagged)" 학습 데이터(질문에 URI가 미리 연결된 데이터)를 요구하는데, 이는 실제 배포 시 매우 번거롭고 비현실적입니다.

방법론: PGMR (사후 생성 메모리 검색)

저자들은 SPARQL 쿼리 구조의 생성과 특정 KG 식별자의 해결(resolution)을 분리하는 모듈형 프레임워크인 PGMR을 제안합니다. 핵심 혁신은 검색 단계의 시간적 재배치에 있습니다. RAG처럼 생성 전에 컨텍스트를 검색하는 대신, PGMR은 쿼리 구조가 형성된 후에 식별자를 검색합니다.

1. 중간 쿼리 생성 (Intermediate Query Generation)

LLM은 중간 SPARQL-PGMR 쿼리를 생성하도록 훈련되거나 프롬프트됩니다. 이 형식에서는 다음이 수행됩니다:

• SPARQL 쿼리의 구문적 구조는 유지됩니다.
• 모든 특정 URI(엔티티 및 관계)는 자연어 플레이스홀더(placeholder)로 대체됩니다.
• 매핑 블록이 쿼리에 동반되어, 각 플레이스홀더를 정형 레이블(canonical label)과 식별용 설명(예: entity0 = [ENT] Hamburg [/ENT] 독일 북부의 도시 및 주)으로 정의합니다.

이 설계는 LLM이 자신의 파라미터 메모리에서 특정 불투명 ID를 회상할 필요 없이, 구문적 정확성과 논리적 구조에 집중할 수 있게 합니다.

2. 사후 생성 검색 (Post-Generation Retrieval)

엔티티와 관계의 딕셔너리로 구성된 비파라미터적 메모리 모듈은 URI 레이블 및 설명과 결합된 임베딩을 저장합니다.

• 검색 프로세스: LLM이 중간 쿼리를 생성한 후, 검색기(BGE 인코더와 FAIXS 유사도 검색 사용)가 자연어 플레이스홀더를 처리합니다.
• 해결(Resolution): 검색기는 플레이스홀더의 레이블과 설명을 메모리와 대조하여 가장 유사한 URI를 찾습니다.
• 최종 출력: 검색된 URI가 플레이스홀더를 대체하여, 최종적으로 실행 가능한 SPARQL 쿼리가 생성됩니다.

3. 안전 메커니즘

PGMR은 **검색 신뢰도 임계값(retrieval confidence threshold)**을 포함합니다. 플레이스홀더에 대해 상위 순위로 검색된 URI의 유사도 점수가 설정된 임계값보다 낮을 경우, 시스템은 잘못된 ID를 환각하는 대신 쿼리 수행을 거부하도록 설계되었습니다. 이 메커계는 지식이 누락되었을 때 시스템이 불확실성을 알릴 수 있게 합니다.

주요 기여

1. 새로운 아키텍처: PGMR은 쿼리 구문 생성(LLM)과 식별자 그라운딩(비파라미터적 검색기)을 명시적으로 분리하여, URI 환각의 근본 원인을 해결합니다.
2. 학습 데이터 변환: 저자들은 표준 질문-SPARQL 쌍을 PGMR 중간 형식으로 변환하는 체계적인 프로세스를 도입하여, 입력 질문에 URI가 미리 태깅될 필요 없이 학습이 가능하게 합니다.
3. 완전한 환각 제거: 이 프레임워크는 다양한 모델과 데이터셋에서 URI 환각 발생률을 거의 제로 수준으로 달성했습니다.
4. 강건성 및 안전성: 시스템은 신뢰도 임계값을 통해 답변 불가능한 쿼리를 올바르게 거부하는 능력을 보여주며, 메모리 크기가 무관한 엔티티들로 확장되더라도 성능을 유지합니다.

실험 결과

저자들은 T5-Small부터 Llama 3.1 8B, GPT-4o에 이르는 모델들을 사용하여 LCQUAD 2.0(원본 및 "unknown URI" 분할 모두 포함)과 QALD-10에서 PGMR을 평가했습니다.

• 쿼리 정확도 (SQM): PGMR은 직접 생성 및 RAG 베이스라인보다 일관되게 우수한 성능을 보였습니다. LCQUAD 2.0 (original split)에서 PGM은 직접 생성 대비 약 61%, RAG 대비 평균 16% 향상된 의미론적 쿼리 일치도(SQM)를 기록했습니다.
• 환각 감소: 직접 생성은 약 75%의 경우에서 URI를 환각했고 RAG는 이를 약 8.7%로 줄였으나, PGMR은 대부분의 구성에서 URI 환각을 거의 완벽하게 제거(0.0% ~ 0.01%)했습니다.
• 분포 외 강건성 (Out-of-Distribution Robustness): 학습 시 보지 못한 URI가 포함된 "unknown URI" 분할에서도 PGMR은 높은 성능을 유지하며 직접 생성 대비 SQM을 73% 향상시켰습니다.
• 메모리 스케일링: 엔티티 메모리를 무관한 방해 요소들로 9배 확장했을 때도, PGMR은 최소한의 성능 저하(SQM 약 4% 하락)만을 보이며 검색기의 회복력을 입증했습니다.
• 거부 정확도: 신뢰도 임계값을 조정함으로써, 모델은 메모리에 지원 근거가 부족한 쿼리를 효과적으로 거부하여 거부 정확도와 답변 가능성 사이의 균형을 맞출 수 있었습니다.

의의 및 주장

본 논문은 PGMR이 LLM 기반 KGQA의 신뢰성 위기에 대한 강력한 솔루션을 제공한다고 주장합니다. 식별자 그라운딩을 사후 생성 검색 단계로 미룸으로써, 프레임워크는 생성된 모든 URI가 기존 지식 그래프 요소와 엄격하게 일치하도록 보장합니다.

저자들은 이 접근 방식이 다음과 같은 장점을 가진다고 강조합니다:

• 안전성 강화: 검색 신뢰도에 기반한 쿼리 거부 능력은 중요한 애플리케이션에서 시스템이 답을 조작하는 것을 방지합니다.
• 일반화 능력 향상: 태그가 없는 데이터와 분포 외(out-of-distribution) URI에서도 잘 작동하여, 광범리한 태깅을 요구하는 방법보다 실제 배포에 더 실용적입니다.
• 효율성 유지: 검색 단계의 계산 오버헤드는 기본 생성 시간에 비해 무시할 수 있는 수준으로, 검색 프로세스가 매우 효율적입니다.

저자들은 PGMR이 URI 환각 문제는 해결하지만, 전체적인 성능은 여전히 특히 QALD-10과 같은 데이터셋에서 발견되는 매우 복잡한 쿼리에 대한 LLM의 정확한 SPARQL 쿼리 구조 구축 능력에 의해 제한된다는 점을 겸허히 언급했습니다. 이들은 향후 연구로서 더 강력한 LLM과 PGMR을 결래하거나, 생성 전후 모두에 검색 단계를 통합하는 방향을 제시했습니다.