Leveraging LLM Parametric Knowledge for Fact Checking without Retrieval

이 논문은 외부 검색 없이 LLM 의 내부 지식과 표현을 활용하여 사실 확인을 수행하는 새로운 과제와 이를 위한 SOTA 방법인 INTRA 를 제안하고, 검색 기반 방식의 한계를 극복하고 확장성을 높일 수 있는 유망한 연구 방향을 제시합니다.

핵심

이 논문은 **"검색 없이도 AI 가 거짓말을 알아채는 방법"**에 대한 연구입니다.

기존의 AI 사실 확인 방식은 마치 도서관 사서처럼 작동했습니다. AI 가 "파리는 프랑스의 수도입니다"라고 말하면, 사서 (검색 시스템) 가 즉시 도서관 (인터넷/데이터베이스) 으로 달려가 책을 찾아 "맞습니다"라고 확인해 주는 방식이었죠. 하지만 이 방식은 검색이 느리고, 도서관에 책이 없으면 실패하며, 검색 자체가 틀릴 수도 있다는 치명적인 단점이 있었습니다.

이 논문은 "검색 없이, AI 자신의 머릿속 지식만으로 거짓말을 찾아내는" 새로운 방법을 제안합니다.

---

🧠 핵심 아이디어: "내면의 나침반"을 믿자

저자들은 AI(대형 언어 모델) 가 이미 방대한 지식을 **머릿속 (파라미터)**에 저장하고 있다고 봅니다. 검색을 하지 않아도, AI 는 그 지식을 바탕으로 "이 말은 사실일 것 같다" 혹은 "아니, 이건 내 기억과 달라"라고 직감할 수 있어야 합니다.

이를 위해 그들은 INTRA라는 새로운 방법을 개발했습니다.

🕵️‍♂️ 비유: "심장 소리를 듣는 의사"

기존 방법들은 환자가 "아파요"라고 말할 때, 바로 **엑스레이 (검색)**를 찍어보려 했습니다. 하지만 엑스레이 기기가 고장 나거나 병원에 없으면 진단이 불가능했죠.

이 논문에서 제안한 INTRA는 의사가 환자의 심장 소리를 직접 듣고 (내부 신호 분석) 병을 진단하는 것과 같습니다.

• 기존 방식 (검색): "이 말은 맞나요?"라고 인터넷에 물어보고 답을 기다림. (느리고 비쌈)
• 새로운 방식 (INTRA): AI 가 말을 할 때, 그 말의 **내부적인 떨림 (신호)**을 분석함. "이 말은 AI 의 뇌에서 자연스럽게 흘러나온 것 같지 않아. 뭔가 어색해!"라고 감지함.

🛠️ 어떻게 작동할까요? (창의적인 비유)

AI 는 수천 개의 층 (Layer) 으로 이루어진 거대한 건물을 상상해 보세요.

1. 기존 방법들: 건물의 1 층 (입구) 이나 지붕 (출구) 만 보고 "이 사람이 거짓말했나?"라고 추측했습니다. 하지만 1 층과 지붕은 정보가 희미해서 잘 맞지 않았습니다.
2. INTRA 의 방법: 건물의 **중간 층들 (중간 층)**을 집중적으로 살핍니다. 연구 결과, AI 가 진실을 말할 때와 거짓말을 할 때, **건물 중간 층들의 전기 신호 (내부 표현)**가 확연히 다르게 반응한다는 것을 발견했습니다.
   • 마치 오케스트라처럼, 각 악기 (층) 들이 조화롭게 연주할 때는 '진실'이고, 특정 악기들이 어색하게 어긋날 때는 '거짓말'이라는 것을 감지하는 것입니다.

📊 실험 결과: "검색보다 더 똑똑한 직감"

저자들은 9 가지 다른 상황 (인기 있는 주제, 드문 주제, 여러 언어, 긴 글 등) 에서 18 가지 방법을 테스트했습니다.

• 결과: 검색을 하지 않는 방법들 중 INTRA가 가장 잘했습니다.
• 특이사항: 기존에 "검색 (RAG)"을 해야만 믿을 수 있다고 생각했는데, 검색 없이 AI 자신의 머릿속 지식만으로도 검색을 쓰는 것만큼, 혹은 그보다 더 정확하게 거짓말을 찾아냈습니다.
• 장점: 검색을 안 하니까 속도가 20 배 이상 빠르고, 비용도 훨씬 저렴합니다.

🌍 왜 이 연구가 중요할까요?

1. 빠른 속도: 검색을 기다릴 필요가 없으니, AI 가 글을 쓰는 순간 바로 "거짓말"을 잡아낼 수 있습니다.
2. 확장성: 인터넷에 없는 정보나, 검색 엔진이 막힌 상황에서도 AI 는 스스로 사실을 검증할 수 있습니다.
3. 교육 도구: 이 기술은 AI 를 훈련시킬 때 "이건 좋은 말, 저건 나쁜 말"이라고 가르치는 선생님 (보상 모델) 역할을 할 수 있습니다.

💡 한 줄 요약

"AI 가 거짓말을 할 때, 인터넷을 검색해서 확인하는 대신, AI 자신의 '뇌 신호'를 분석해서 거짓말을 잡아내는 새로운 기술을 개발했습니다. 마치 검색 없이도 의사가 환자의 심장을 듣고 병을 진단하듯, 빠르고 정확하게 사실을 검증하는 방법입니다."

이 연구는 앞으로 AI 가 더 신뢰할 수 있고, 빠르며, 스스로를 통제할 수 있는 방향으로 발전하는 데 중요한 발걸음이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 현재의 한계: 대규모 언어 모델 (LLM) 기반 에이전트 시스템의 신뢰성을 확보하기 위해, 기존의 사실 검증 (Fact-checking) 방법은 주로 검색 기반 (Retrieval-based) 파이프라인 (예: FActScore, SAFE) 에 의존합니다. 이 방식은 LLM 의 출력을 원자적 주장 (Atomic claims) 으로 분해한 후, 외부 지식 베이스 (Wikipedia 등) 에서 관련 문서를 검색하여 주장의 사실성을 검증합니다.
• 검색 기반 방식의 단점:
  1. 지연 시간 (Latency): 외부 데이터베이스 조회 및 재랭킹으로 인해 처리 속도가 느립니다.
  2. 검색 오류 의존성: 검색된 문서의 품질이 검증 결과에 직접적인 영향을 미치며, 노이즈가 있거나 관련 없는 문서가 유입되면 오검증 (False detection) 이 발생할 수 있습니다.
  3. 내재적 지식 미활용: LLM 이 사전 학습을 통해 내부 파라미터에 방대한 사실적 지식을 보유하고 있음에도 불구하고, 이를 직접 활용하지 않고 외부 검색에 의존함으로써 모델의 본질적인 사실 검증 능력을 낭비합니다.
• 제안된 과제: 본 논문은 검색 없이 사실 검증 (Fact-checking without retrieval) 이라는 새로운 과제를 정의합니다. 이는 외부 지식이나 검색 없이 오직 LLM 의 내부 파라미터 지식과 표현 (Representations) 만을 사용하여 임의의 자연어 주장의 사실성을 판단하는 것입니다.

2. 방법론 (Methodology)

2.1. 제안된 방법: INTRA (Intrinsic Truthfulness Assessment)

저자들은 기존 방법들의 한계 (특정 레이어나 토큰에 의존, 분포 외 (OOD) 데이터에서 성능 저하 등) 를 극복하기 위해 INTRA를 제안했습니다.

• 토큰 및 레이어 선택 (Token and Layer Selection):
  • 기존 연구들은 주로 첫 번째/마지막 토큰의 숨겨진 상태 (Hidden state) 나 전체 시퀀스의 평균을 사용했으나, INTRA 는 모든 토큰의 숨겨진 상태를 활용합니다.
  • 학습 가능한 파라미터 벡터 ($\theta$) 를 사용하여 시퀀스 내 각 토큰에 대한 어텐션 가중치 ($\alpha$) 를 동적으로 계산하고, 이를 통해 시퀀스 수준의 임베딩을 생성합니다.
• 레이어별 사실성 점수 (Layer-wise Truthfulness Score):
  • 모델의 각 레이어에서 생성된 시퀀스 임베딩에 선형 분류기 (Linear classifier) 를 적용하여 해당 레이어에서의 사실성 확률 ($p_l$) 을 계산합니다.
  • 단순한 구조를 유지하여 과적합을 방지하고 일반화 능력을 높입니다.
• 집계된 사실성 점수 (Aggregated Truthfulness Score):
  • 모델의 모든 레이어가 사실성을 잘 나타내는 것은 아니므로, 중간 레이어 (Middle layers) 만을 선택합니다 (예: Llama 3.1-8B 의 경우 11~22 레이어).
  • 각 레이어의 확률 값은 분포가 다르므로, Quantile Normalization을 적용하여 표준화합니다.
  • 최종 점수는 표준화된 레이어별 확률들의 가중 합 (L2 회귀 모델) 으로 계산됩니다.

2.2. 비교 대상 방법들

논문은 18 가지의 다양한 기존 및 새로운 방법을 비교 평가했습니다.

• 비지도 학습 (Unsupervised): 확률 기반 (Sequence Probability, Perplexity, Entropy), 어텐션 기반 (RAUQ, Attention Score), Claim-Conditioned Probability (CCP), Verbalized Score (LLM 에게 직접 판단 요청) 등.
• 지도 학습 (Supervised): SAPLMA, CCS, MM, MIND, Sheeps, UHead 등 LLM 내부 표현을 학습하여 분류하는 방법들.
• 검색 기반 (Retrieval-based): RAG 를 활용한 Verbalized Score (Verb+RAG) 를 상한선 (Upper-bound) 으로 설정.

3. 평가 프레임워크 및 데이터셋 (Evaluation Framework)

일반화 능력을 검증하기 위해 9 개의 다양한 데이터셋을 포함하는 포괄적인 평가 프로토콜을 구축했습니다.

1. Long-tail Knowledge (긴 꼬리 지식): 인기도가 낮은 엔티티에 대한 지식 (PopQA, Wild Hallucinations).
2. Claim Source Variation (주장 출처 변이): 인간이 작성한 주장 (AVeriTeC, X-Fact) vs LLM 이 생성한 주장 (UHead, Common Claims).
3. Multilinguality (다국어): 25 개 언어를 포함하는 X-Fact 데이터셋.
4. Long-form Generation (장문 생성): 긴 텍스트 생성 과정에서 추출된 주장들.
5. Cross-model Claims (교차 모델 주장): 서로 다른 LLM(GPT-3, Mistral, Llama 등) 이 생성한 주장에 대한 검증.

평가 지표: ROC-AUC (전체 분리 능력) 와 PR-AUC (허위 주장 예측의 정밀도, 특히 허위 주장이 드문 경우 중요).

4. 주요 결과 (Key Results)

• 성능 우위: 제안된 INTRA 방법이 3 개의 모델 (Llama 3.1, Ministral, Phi-4) 과 9 개의 데이터셋을 아우르는 평균 성능에서 최고 (State-of-the-Art) 를 기록했습니다.
  • Llama 3.1 기준 ROC-AUC 에서 2 위인 Sheeps 보다 0.5% 높았으며, 모든 모델 평균 ROC-AUC 에서 1.3% 높았습니다.
  • PR-AUC 기준으로는 검색 기반 방법 (Verb+RAG) 보다 평균 3% 더 높은 성능을 보였습니다.
• 일반화 능력: INTRA 는 특정 도메인이나 데이터셋에 과적합되지 않고, 긴 꼬리 지식, 다국어, 교차 모델 환경에서 일관된 강건한 성능을 발휘했습니다.
• 내부 표현의 중요성:
  • 단순한 확률 기반 (Logit-based) 방법들 (Perplexity 등) 은 내부 표현을 활용하는 방법들보다 성능이 낮았습니다.
  • 중간 레이어 (Intermediate layers) 가 사실성 정보를 가장 잘 인코딩하고 있으며, 여러 레이어의 정보를 통합하는 것이 단일 레이어보다 우월함을 확인했습니다.
• 효율성: INTRA 는 검색 기반 방법 (Verb+RAG) 에 비해 약 20 배 빠른 처리 속도를 보였습니다 (한 번의 포워드 패스로 충분).

5. 주요 기여 (Contributions)

1. 새로운 과제 정의: 외부 검색 없이 LLM 의 내부 지식만으로 사실성을 검증하는 "Fact-checking without retrieval" 과제를 체계적으로 정의하고 평가했습니다.
2. 대규모 평가 프레임워크: 9 개의 데이터셋을 통해 다양한 일반화 차원 (장기 지식, 다국어, 생성 길이 등) 에서의 강건성을 검증하는 표준 벤치마크를 구축했습니다.
3. SOTA 방법 제안 (INTRA): 내부 표현 간의 상호작용을 활용하는 단순하지만 효과적인 방법론을 제안하여, 검색 없이도 최상의 성능을 달성했습니다.
4. 오픈 소스: 데이터셋 및 코드 (Hugging Face) 를 공개하여 후속 연구를 지원했습니다.

6. 의의 및 시사점 (Significance)

• 확장성 및 실용성: 외부 검색 인프라가 필요 없어 배포 비용과 지연 시간을 크게 줄일 수 있어, 실시간 애플리케이션에 적합합니다.
• LLM 의 본질적 능력 규명: LLM 이 외부 지식 없이도 얼마나 많은 사실적 지식을 내재하고 있는지, 그리고 이를 어떻게 활용할 수 있는지에 대한 통찰을 제공합니다.
• 미래 연구 방향:
  • 보상 모델 (Reward Model): 사실성 검증기를 강화학습 (RL) 의 보상 신호로 활용하거나, 생성 과정에 통합하여 할루시네이션을 줄이는 데 사용할 수 있습니다.
  • 하이브리드 접근: 검색 기반 방법과 내부 지식 기반 방법을 상호 보완적으로 사용하여 최종 사실성 정확도를 극대화할 수 있는 가능성을 제시합니다.

결론적으로, 이 연구는 LLM 의 내부 파라미터 지식을 효과적으로 활용하여 빠르고 강건한 사실 검증 시스템을 구축할 수 있음을 증명하며, RAG 기반 접근법의 한계를 보완하는 중요한 패러다임 전환을 제시합니다.