Do LLMs Really Know What They Don't Know? Internal States Mainly Reflect Knowledge Recall Rather Than Truthfulness

이 논문은 LLM 의 내부 상태가 사실성 여부보다는 지식 회상 여부에 더 크게 반영되며, 특히 통계적 연관성에 기반한 '연관된 환각'은 사실적 출력과 기하학적으로 유사하여 기존 탐지 방법으로는 구별하기 어렵다는 점을 주장합니다.

핵심

🤖 "무엇을 모르는지 아는가?" - AI 의 거짓말을 찾아내는 새로운 발견

이 논문은 최근 인공지능 (LLM) 이 **"자신이 모르는 것을 알고 있는가?"**라는 질문에 대해 흥미로운 반전을 제시합니다. 많은 사람들은 AI 가 거짓말을 할 때 내부에서 뭔가 "이상한 신호"가 발생해서, 이를 감지할 수 있을 것이라고 생각했습니다. 하지만 이 연구는 **"아니요, AI 는 거짓말을 할 때도 진실을 말할 때와 똑같은 뇌 활동을 합니다"**라고 말합니다.

이 복잡한 연구를 쉽게 이해할 수 있도록 **'기억하는 도서관'**과 '가짜 뉴스' 비유로 설명해 드리겠습니다.

---

1. 핵심 비유: 도서관의 두 가지 거짓말

AI 를 거대한 지식 도서관이라고 상상해 보세요. 이 도서관에는 수많은 책 (데이터) 이 있고, AI 는 이 책들을 기억하고 있습니다.

이 도서관에서 틀린 정보 (할루시네이션/거짓말) 가 나오는 경우 두 가지가 있습니다.

🅰️ 경우 1: "연상된 거짓말" (Associated Hallucinations)

• 상황: "오바마 전 대통령은 어디에서 태어났나요?"라고 물었을 때, AI 는 "시카고"라고 답합니다. (사실은 하와이입니다.)
• 왜? AI 는 오바마와 시카고를 자주 함께 본 기억 (통계적 연관성) 이 강하게 남아있기 때문입니다.
• 비유: 도서관 사서가 "오바마"라는 책을 찾을 때, 옆에 붙어있는 "시카고"라는 표지판을 보고 무의식적으로 그 책을 집어낸 것입니다.
• 중요한 점: 이 과정에서 AI 의 뇌 (내부 상태) 는 진실을 말할 때와 똑같은 경로를 사용합니다. "오바마"와 "시카고"를 연결하는 신경 회로가 켜지기 때문입니다.

🅱️ 경우 2: "연결되지 않은 거짓말" (Unassociated Hallucinations)

• 상황: "브렌다 존스톤이라는 사람은 어디에서 태어났나요?"라고 물었을 때, AI 는 "포트랜드"라고 아무렇게나 답합니다. (사실은 모릅니다.)
• 왜? AI 는 '브렌다 존스톤'이라는 사람에 대한 기억이 전혀 없습니다. 그냥 "도시 이름"이 나올 것 같아서 임의로 지어낸 것입니다.
• 비유: 도서관 사서가 찾아본 책이 아예 없는데, "아마도 이 책이겠지?"라고 임의로 책장을 뒤적이며 아무 책이나 집어낸 것입니다.
• 중요한 점: 이 과정은 AI 의 뇌에서 완전히 다른 경로를 사용합니다. 기억을 꺼내는 과정이 아니라, 빈 공간을 채우는 과정이기 때문입니다.

---

2. 연구의 핵심 발견: "뇌 신호는 '진실'이 아니라 '기억'을 보여준다"

기존 연구들은 AI 가 거짓말을 할 때 내부 신호 (뇌의 전기 신호 같은 것) 가 달라질 것이라고 믿었습니다. 하지만 이 연구는 다음과 같은 사실을 발견했습니다.

• 진실 (사실) vs. 연상된 거짓말 (A 경우):

  • AI 의 뇌 신호가 거의一模一样 (똑같습니다).
  • 두 경우 모두 "기억된 연관성"을 바탕으로 답을 만들기 때문입니다.
  • 결과: AI 가 "오바마는 시카고에서 태어났다"고 거짓말을 할 때, AI 는 스스로 "이건 거짓말이야"라고 느끼지 못합니다. 마치 진실을 말할 때와 똑같은 자신감으로 거짓말을 합니다.

• 연결되지 않은 거짓말 (B 경우):

  • AI 의 뇌 신호가 진실할 때와 확연히 다릅니다.
  • 기억을 꺼내지 않고 임의로 지어냈기 때문에, 뇌의 활동 패턴이 특이하게 뭉쳐져 있습니다.
  • 결과: 이 경우에는 AI 가 "아, 나는 이걸 모르고 지어냈구나"라는 신호를 보내기 때문에, 이를 감지하기가 쉽습니다.

---

3. 왜 이것이 문제일까요? (현실적인 함의)

이 발견은 AI 를 감시하는 현재의 기술들이 큰 한계가 있음을 보여줍니다.

1. 감지 기술의 실패:

   • 현재 개발된 AI 거짓말 탐지기는 "연상된 거짓말 (A 경우)"을 거의 구별하지 못합니다. (확률 50% 수준, 즉 동전 던지기 수준)
   • AI 가 인기 있는 유명인이나 잘 알려진 주제에 대해 틀린 정보를 말하더라도, 탐지기는 "아, 이건 기억을 잘 꺼내고 있네. 맞겠지?"라고 착각합니다.

2. 거부 (Refusal) 학습의 어려움:

   • "모르면 '모른다'고 말해라"라고 AI 를 교육시키려 할 때, **A 경우 (연상된 거짓말)**는 교육이 잘 안 됩니다.
   • 왜냐하면 AI 는 A 경우를 "기억을 잘 꺼낸 상태"로 인식하기 때문에, "거짓말"이라고 인식하지 못해 "모른다"고 말하지 않기 때문입니다.
   • 반면, **B 경우 (임의의 거짓말)**는 교육이 잘 되어, AI 가 쉽게 "모른다"고 말합니다.

---

4. 결론: AI 는 "무엇을 모르는지"를 완벽하게 알지 못한다

이 논문은 우리에게 다음과 같은 교훈을 줍니다.

• AI 는 스스로의 거짓말을 구별하지 못합니다. 특히, 통계적으로 자주 함께 나오는 단어들을 조합해서 만든 거짓말 (연상된 거짓말) 에 대해서는 AI 도 자신이 진실을 말한다고 믿습니다.
• 내부 신호만 믿으면 안 됩니다. AI 의 뇌 신호를 봐도 "진실"인지 "거짓"인지 구별하기 어렵습니다. 그 신호는 단지 "기억을 꺼냈는지"만 보여줄 뿐입니다.
• 새로운 해결책이 필요합니다. AI 가 스스로를 감시하는 것만으로는 부족합니다. 외부의 **사실 확인 시스템 (Fact-checking)**이나 검색 도구를 연결하여, AI 가 말한 내용이 실제로 맞는지 다시 한번 검증해 주는 시스템이 필수적입니다.

한 줄 요약:

"AI 가 인기 있는 주제에 대해 틀린 말을 할 때, 그 뇌 신호는 진실을 말할 때와 똑같습니다. 따라서 AI 가 스스로 "나는 모른다"고 말해줄 것을 기대하기는 어렵고, 우리가 직접 외부에서 확인해 주는 것이 가장 안전합니다."

기술 요약

1. 문제 제기 (Problem)

최근 연구들은 LLM 이 환각 (사실과 다른 출력) 과 사실적인 출력을 생성할 때 서로 다른 내부 과정을 거치며, 이를 통해 내부 신호 (잔여 스트림, 어텐션 가중치, 로짓 등) 로 환각을 탐지할 수 있다고 주장해 왔습니다.
하지만 저자들은 환각의 원인이 단순히 지식의 부재 (knowledge gap) 만은 아니라고 지적합니다. 모델은 사전 학습 중 학습된 통계적 단서 (statistical shortcuts) 나 허위 상관관계 (spurious associations) 를 활용하여 환각을 생성할 수 있습니다.

• 핵심 질문: LLM 의 내부 상태 신호는 출력의 '사실성'을 반영하는가, 아니면 모델이 '지식을 회상하는지 (knowledge recall)'를 반영하는가?
• 가설: 통계적 연관성에 기반한 환각 (Associated Hallucinations) 은 사실적 회상 (Factual Recall) 과 기계적으로 유사한 내부 과정을 거치므로, 기존 탐지 방법으로는 구별이 어렵다.

2. 방법론 (Methodology)

2.1. 환각의 새로운 분류 체계 (Taxonomy)

저자들은 출력의 사실성뿐만 아니라, 주체 (subject) 와의 연관성에 따라 환각을 두 가지로 세분화했습니다. 이를 위해 인과적 개입 (causal intervention) 을 수행했습니다.

1. 사실적 연관 (Factual Associations, FA): 모델이 파라미터에 저장된 지식을 올바르게 회상하여 사실적인 출력을 생성한 경우.
2. 연관 환각 (Associated Hallucinations, AH): 모델이 주체와 강하게 연관된 통계적 패턴 (허위 상관관계) 을 활용하여 사실은 틀렸지만, 주체 기반의 지식 회상 과정을 통해 생성된 환각. (예: "Barack Obama"와 "Chicago"의 강한 연관성을 이용해 "Obama 는 Chicago 에서 태어났다"라고 잘못 생성)
3. 비연관 환각 (Unassociated Hallucinations, UH): 모델이 주체에 대한 지식이 없어, 주체와 무관한 통계적 확률이나 임의의 패턴을 기반으로 생성한 환각. (예: "Brenda Johnston"이라는 알려지지 않은 인물에 대해 "Portland"이라고 생성)

분류 기준: 주체 토큰에서 마지막 토큰으로 가는 어텐션 흐름을 차단 (masking) 했을 때 출력 분포가 얼마나 변하는지 (Jensen-Shannon Divergence) 를 측정하여 AH 와 UH 를 구분했습니다.

2.2. 기계적 해석 (Mechanistic Analysis)

LLaMA-3-8B 와 Mistral-7B-v0.3 모델을 사용하여 다음을 분석했습니다.

• 정보 흐름 시각화: 주체 표현 강화, 어텐션 흐름, 마지막 토큰 디코딩의 3 단계 과정을 각 카테고리별로 추적.
• 내부 상태 기하학적 분석: 은닉 상태 (hidden states) 의 노름 (norm), 코사인 유사도, t-SNE 시각화를 통해 FA, AH, UH 의 표현 공간 (representation space) 구조 비교.
• 탐지 및 튜닝 실험: 기존 탐지 방법 (내부 상태 프로브, 확률, 주체 인기도) 의 성능 평가 및 '거부 튜닝 (Refusal Tuning)'의 일반화 능력 검증.

3. 주요 결과 (Key Results)

3.1. 내부 상태는 '지식 회상'을 반영할 뿐 '사실성'은 아님

• AH 와 FA 의 유사성: 연관 환각 (AH) 과 사실적 연관 (FA) 은 주체 표현의 강화, 어텐션 흐름, 마지막 토큰의 디코딩 과정에서 거의 동일한 내부 메커니즘을 공유합니다.
• UH 의 차이: 비연관 환각 (UH) 은 주체 정보에 의존하지 않아 내부 흐름이 약하고, 표현 공간에서 FA 와 명확히 분리된 클러스터를 형성합니다.
• 결론: 내부 상태 신호는 모델이 "지식을 회상하고 있는가"를 나타내며, "출력이 사실인가"를 직접적으로 나타내지는 않습니다.

3.2. 기존 환각 탐지 방법의 한계

• UH 탐지: UH 는 FA 와 기하학적으로 명확히 분리되어 있어 기존 탐지 방법 (AUROC ≈ 0.86~0.93) 으로 매우 정확하게 탐지 가능합니다.
• AH 탐지 실패: AH 는 FA 와 내부 표현이 겹치기 때문에, 기존 탐지 방법들은 AH 와 FA 를 구별하지 못합니다 (AUROC ≈ 0.48~0.69, 거의 무작위 추측 수준).
• 블랙박스 방법의 한계: 출력 확률이나 주체 인기도 (popularity) 기반 방법 역시 AH 와 FA 를 구별하지 못합니다.

3.3. 거부 튜닝 (Refusal Tuning) 의 한계

• 모델이 환각을 거부하도록 미세 조정 (fine-tuning) 할 때, UH 는 명확한 패턴을 공유하므로 거부 학습이 잘 이루어집니다 (거부율 82%).
• 반면, AH 는 FA 와 표현 공간이 겹쳐 있어 모델이 AH 만을 선택적으로 거부하는 패턴을 학습하기 어렵습니다 (거부율 33%). 이는 AH 에 대한 잘못된 확신을 모델이 유지하게 만듭니다.

4. 주요 기여 (Key Contributions)

1. 환각의 메커니즘적 분류: 단순한 사실성 판단을 넘어, 생성 메커니즘 (지식 회상 유무) 에 따라 환각을 AH 와 UH 로 분류하는 새로운 프레임워크 제시.
2. 내부 신호의 본질 규명: LLM 의 내부 신호가 사실성 (truthfulness) 이 아닌 지식 회상 (knowledge recall) 과정을 반영한다는 것을 기계적 해석을 통해 입증.
3. 탐지 및 튜닝의 한계 규명: 기존 내부 상태 기반 탐지 방법과 거부 튜닝이 AH(연관 환각) 에 대해서는 효과가 없음을 실증적으로 증명.
4. 실용적 시사점: 고인기 (high-popularity) 주제에서 발생하는 AH 가 실제 배포 환경에서 더 위험할 수 있음을 지적하고, 이에 대한 새로운 탐지 전략의 필요성을 제기.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 "LLM 은 자신이 무엇을 모르는지 안다"는 낙관적인 가설에 대해 강력한 반박을 제시합니다.

• 이론적 의의: LLM 의 내부 표현이 '진실'을 직접 인코딩하지 않으며, 통계적 연관성에 기반한 오류 (AH) 는 사실적 지식과 동일한 경로를 통해 생성됨을 보여줍니다.
• 실무적 의의: 단순한 내부 상태 스캐닝만으로는 신뢰할 수 있는 환각 탐지가 불가능함을 시사합니다. 특히, 널리 알려진 주제에서 발생하는 오류 (AH) 는 탐지가 매우 어렵기 때문에, 외부 검증 (Fact-checking, RAG 등) 이나 다른 메커니즘이 필수적입니다.
• 향후 방향: 향후 연구는 AH 와 UH 를 구분하여 평가해야 하며, 단순한 내부 신호에 의존하지 않고 외부 지식 베이스와의 상호작용을 통한 사실성 검증이 강조되어야 함을 강조합니다.

요약하자면, 이 연구는 LLM 이 생성한 오류 중 지식 회상 과정과 유사한 방식으로 발생하는 '연관 환각 (AH)'은 내부적으로 사실과 구별하기 매우 어렵다는 것을 증명하며, 현재의 내부 상태 기반 탐지 및 교정 기술의 한계를 명확히 지적하고 있습니다.