💻 computer science

Trust but Verify: Introducing DAVinCI -- A Framework for Dual Attribution and Verification in Claim Inference for Language Models

이 논문은 대규모 언어 모델의 사실적 정확성과 해석 가능성을 향상시키기 위해 생성된 주장의 내부/외부 출처를 추적하고 추론 기반 검증을 수행하는 'DAVinCI'라는 이중 귀속 및 검증 프레임워크를 제안하고, 다양한 데이터셋에서 기존 검증-only 기반선 대비 성능을 유의미하게 개선했음을 입증합니다.

원저자: Vipula Rawte, Ryan Rossi, Franck Dernoncourt, Nedim Lipka

게시일 2026-04-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Vipula Rawte, Ryan Rossi, Franck Dernoncourt, Nedim Lipka

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎩 1. 문제점: "유창하지만 때로는 거짓말을 하는 마법사"

지금 우리가 쓰는 거대 언어 모델 (LLM) 은 마치 매우 유창하고 재능이 있는 마법사와 같습니다.

장점: 어떤 질문을 해도 아주 자연스럽게, 논리 정연하게 대답합니다.
단점: 하지만 가끔은 사실이 아닌 것을 마치 사실인 것처럼 말하기도 합니다 (이를 '할루시네이션'이라고 부릅니다).

예를 들어, "태양은 지구보다 작다"라고 거짓말을 해도 아주 자신 있게, 그럴듯하게 설명해 낼 수 있습니다. 의료나 법률 같은 중요한 분야에서는 이런 실수가 치명적일 수 있죠.

🕵️‍♂️ 2. 해결책: "DAVinCI" - 의심하되, 검증하라 (Trust but Verify)

이 논문은 이 마법사를 그냥 믿지 말고, 두 가지 단계로 꼼꼼히 점검하는 시스템을 제안합니다. 이름은 DAVinCI입니다.

1 단계: 출처 추적 (Attribution) - "그 말의 근거는 어디야?"

마법사가 말을 할 때, DAVinCI 는 즉시 **"이 말의 근거는 어디에서 왔니?"**라고 묻습니다.

전체 문서 확인: "너 이 말, 책 전체 내용을 다 읽고 한 거야?" (Full Evidence)
일부 발췌 확인: "아니면 책에서 특정 문장만 발췌해서 한 거야?" (Span-based)

이 과정은 마치 수사관이 증인의 진술을 듣고, 그 진술이 어떤 문서나 기록에서 나왔는지 찾아내는 것과 같습니다.

2 단계: 사실 검증 (Verification) - "그게 진짜 사실일까?"

출처를 찾았으면, 이제 판사가 됩니다.

"이 증인 (근거) 이 말한 게, 피의자 (마법사의 주장) 와 일치하는가?"
"아니면 서로 모순되는가?"
"아니면 정보가 부족해서 판단할 수 없는가?"

이때 중요한 것은 자신감 조절입니다. 만약 판사가 "아, 이거 확실하지는 않네"라고 생각하면, 무조건 '사실'이나 '거짓'으로 찍지 않고 **"정보 부족 (Not Enough Info)"**이라고 표시합니다. 이렇게 하면 마법사가 확신 없이 지어낸 말을 사실인 것처럼 넘겨주는 것을 막을 수 있습니다.

🧪 3. 실험 결과: "완전한 책장을 보는 것이 더 정확하다"

연구팀은 이 시스템을 FEVER(사실 확인 데이터) 와 기후 변화 관련 데이터로 테스트했습니다.

비교: 기존 시스템은 마법사의 말을 그냥 믿거나, 부분적인 정보만 확인했습니다.
DAVinCI 의 성과: DAVinCI 를 적용한 결과, 정확도가 5~20% 나 향상되었습니다.
핵심 발견:
- 전체 문맥 (Full Evidence) 이 중요함: 책의 한 문장만 떼어내서 확인하는 것보다, 관련된 전체 장 (Chapter) 을 다 읽어보는 것이 훨씬 더 정확한 결론을 내립니다. (일부만 보면 맥락을 놓쳐서 오해하기 쉽기 때문입니다.)
- 적당한 의심이 필요함: 판사가 너무 무조건 "사실"이라고 찍지 않고, 확실하지 않으면 "모름"이라고 표시하는 것이 전체적인 신뢰도를 높였습니다.

🏗️ 4. 왜 이것이 중요한가?

이 시스템은 인공지능이 단순히 말을 잘하는 것을 넘어, 책임감 있게 말하도록 돕습니다.

투명성: "왜 이 말을 했는지"에 대한 근거를 보여줍니다.
검증 가능성: 사람이 나중에 다시 확인해 볼 수 있도록 모든 과정을 기록합니다.
신뢰: 의료, 법률, 뉴스 같은 중요한 분야에서 인공지능을 쓸 때, "이게 진짜일까?"라는 걱정을 덜어줍니다.

📝 한 줄 요약

DAVinCI 는 거대 인공지능이 "유창한 거짓말"을 하지 못하도록, 근거를 찾아내고 (Attribution), 사실을 꼼꼼히 검증하며 (Verification), 확신이 없을 때는 침묵하는 (Recalibration) 똑똑한 '감시관' 역할을 합니다.

이제 인공지능이 말을 할 때, 우리는 그 말을 그냥 믿는 대신 "근거는 뭐야?"라고 물어보며 DAVinCI 가 지켜보는 것처럼 안심하고 사용할 수 있게 된 것입니다.

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 다양한 자연어 처리 (NLP) 작업에서 뛰어난 유창성과 다재다능함을 보여주지만, **사실적 오류 (Factual Inaccuracies) 와 환각 (Hallucinations)**을 생성할 수 있다는 치명적인 약점을 가지고 있습니다. 의료, 법률, 과학 커뮤니케이션과 같은 고위험 분야에서는 이러한 오류가 치명적인 결과를 초래할 수 있으므로, 출력의 신뢰성과 검증 가능성이 필수적입니다.

기존의 검증 시스템들은 주로 **추론 (Attribution)**과 **검증 (Verification)**을 분리된 구성 요소로 다루거나, 검색 증강 생성 (RAG) 에서 검색과 생성을 느슨하게 결합하는 데 그쳤습니다. 이로 인해 증거 선택과 추론 간의 미묘한 상호작용을 포착하지 못하거나, 모델의 과도한 자신감 (Overconfidence) 으로 인한 오분류가 발생하는 문제가 있었습니다.

2. 제안 방법론: DAVinCI 프레임워크

이 논문은 LLM 의 사실적 신뢰성과 해석 가능성을 향상시키기 위해 **DAVinCI (Dual Attribution and Verification)**라는 이중 프레임워크를 제안합니다. 이 프레임워크는 두 단계로 구성된 파이프라인을 통해 작동합니다.

2.1. 1 단계: 귀속 (Attribution)

생성된 주장 (Claim) 에 대해 내부 모델 구성 요소나 외부 소스에서 관련 증거를 식별하는 단계입니다. 두 가지 전략을 사용합니다.

전체 증거 귀속 (Full Evidence Attribution): FEVER 와 같은 데이터셋의 경우, 금표준 (Gold-standard) 증거 텍스트 전체를 직접 사용합니다.
스pan 기반 귀속 (Span-Based Attribution): 질문 답변 (QA) 모델을 사용하여 주장에 대한 가장 관련성 높은 텍스트 구간 (Span) 만 추출합니다. 이는 실제 환경에서 부분적인 증거만 접근 가능한 상황을 시뮬레이션합니다.

2.2. 2 단계: 검증 (Verification)

귀속된 증거를 기반으로 주장의 진위를 판단하는 단계입니다.

함의 기반 분류 (Entailment-based Classification): 변환기 (Transformer) 기반 함의 분류기를 사용하여 주장을 Supported(지지됨), Refuted(반박됨), Not Enough Information(정보 부족, NEI) 으로 분류합니다.
신뢰도 재보정 (Confidence Recalibration): 모델의 예측 신뢰도 점수 ( $s$ ) 가 임계값 ( $\tau$ , 기본값 0.6) 보다 낮으면, 원래 예측과 관계없이 출력을 Not Enough Info로 하향 조정합니다. 이는 불확실한 경우에 보수적인 의사결정을 유도하여 과도한 확신을 방지합니다.

3. 주요 기여 (Key Contributions)

통합 모듈러 프레임워크: LLM 추론 과정에 귀속 (Attribution) 과 검증 (Verification) 을 통합한 최초의 모듈러 프레임워크인 DAVinCI 를 제안했습니다.
심층적인 제거 실험 (Ablation Study): 증거 범위 선택 (전체 vs 스펀), 재보정 임계값, 검색 품질이 성능에 미치는 영향을 정량적으로 분석했습니다.
재현 가능한 구현체 공개: 신뢰할 수 있는 NLP 연구를 지원하기 위해 DAVinCI 의 모듈러 구현 코드를 오픈소스로 공개했습니다.

4. 실험 결과 (Results)

FEVER 및 CLIMATE-FEVER 데이터셋을 사용하여 다양한 NLI 모델 (DeBERTa, RoBERTa, BART 등) 과 비교 실험을 수행했습니다.

성능 향상: DAVinCI 는 기존 검증 전용 베이스라인에 비해 분류 정확도, 정밀도 (Precision), 재현율 (Recall), F1 점수가 5~20% 향상되었습니다.
- 예: DeBERTa-large-mnli 모델의 정확도는 0.42 에서 0.48 로, Macro F1 점수는 0.36 에서 0.41 로 상승했습니다.
증거의 중요성: **전체 증거 (Full Evidence)**를 사용하는 방식이 스펀 기반 (Span-based) 방식보다 모든 지표에서 일관되게 우세했습니다. (FEVER 에서 9~18% 성능 차이, CLIMATE-FEVER 에서 최대 19.6% 향상). 이는 문맥의 완전성이 사실 추론에 중요함을 시사합니다.
임계값 최적화: 0.7 의 임계값이 정밀도와 재현율 간의 가장 좋은 균형을 제공했습니다. 임계값을 0.9 로 높이면 정밀도는 유지되지만 재현율이 급격히 떨어지는 트레이드오프가 관찰되었습니다.
모델 견고성: 베이스라인 성능이 낮았던 모델들도 DAVinCI 를 적용하면 견고성과 신뢰성이 크게 개선되었습니다.

5. 의의 및 결론 (Significance)

DAVinCI 는 생성, 귀속, 검증을 연결하여 감시 가능하고 (Auditable), 신뢰할 수 있는 AI 시스템으로 나아가는 확장 가능한 경로를 제시합니다.

해석 가능성: 모델이 왜 특정 결론에 도달했는지 증거를 통해 투명하게 설명할 수 있게 합니다.
신뢰성 확보: 신뢰도 재보정 메커니즘을 통해 모델이 확신하지 못하는 경우를 명시적으로 표시함으로써, 고위험 분야에서의 오용을 방지합니다.
미래 전망: 향후 오픈 도메인 검색, 멀티홉 추론, 저자원/다국어 환경으로의 확장, 그리고 생성 작업 자체에 검증 기능을 내재화하는 방향으로 연구가 진행될 예정입니다.

이 연구는 LLM 을 단순히 강력한 도구가 아닌, 책임감 있고 검증 가능한 (Accountable) 시스템으로 발전시키는 데 중요한 기여를 하고 있습니다.