💻 computer science

PRISM: Probing Reasoning, Instruction, and Source Memory in LLM Hallucinations

이 논문은 LLM 의 환각 현상을 생성 단계 (기억, 지시, 추론) 와 오류 유형 (지식 부재, 지식 오류, 추론 오류, 지시 불이행) 으로 세분화하여 진단하는 새로운 벤치마크 'PRISM'을 제안하고, 다양한 모델 평가 결과를 통해 환각 완화 전략이 특정 영역의 개선과 다른 영역의 저하 사이의 상충 관계를 드러낸다는 것을 보여줍니다.

원저자: Yuhe Wu, Guangyu Wang, Yuran Chen, Jiatong Zhang, Yutong Zhang, Yujie Chen, Jiaming Shang, Guang Zhang, Zhuang Liu

게시일 2026-04-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuhe Wu, Guangyu Wang, Yuran Chen, Jiatong Zhang, Yutong Zhang, Yujie Chen, Jiaming Shang, Guang Zhang, Zhuang Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

PRISM: 거대 AI 의 '망상'을 찾아내는 정밀 진단 도구

이 논문은 최근 화제가 되는 **거대 언어 모델 **(LLM, 예: 챗봇이나 AI 비서)이 왜 가끔씩 엉뚱한 소리를 하거나, 사실과 다른 '망상 (할루시네이션)'을 만들어내는지 그 정확한 원인을 찾아내는 새로운 방법을 소개합니다.

기존의 연구들은 "AI 가 틀린 말을 했니?"라고 결과만 확인했다면, 이 연구는 "도대체 AI 의 뇌에서 어디가 고장 난 걸까?"라고 파고듭니다.

이 내용을 쉽게 이해할 수 있도록 자동차 정비소와 수술실에 비유해서 설명해 드릴게요.

1. 문제: "왜 차가 고장 났지?" (기존 방식의 한계)

지금까지 AI 가 틀린 말을 할 때, 우리는 단순히 "이 차는 고장 났다"라고만 판단했습니다.

기존 방식: "이 AI 는 의료 조언을 잘못 줬네. 점수 0 점!"
문제점: 왜 고장 났는지 알 수 없습니다.
- 엔진 (지식) 이 고장 났을까?
- 브레이크 (논리) 가 먹통이 됐을까?
- 아니면 운전자가 시킨 대로 안 했을까 (지시 무시)?

이렇게 원인을 모르면 고치기가 어렵습니다. "엔진을 고치려다 브레이크까지 망가뜨리는" 실수를 반복할 수 있죠.

2. 해결책: PRISM (정밀 진단 키트)

이 논문에서 제안한 PRISM은 AI 의 두뇌를 4 가지 핵심 부품으로 나누어 정밀하게 검사하는 도구입니다. 마치 의사가 환자의 증상을 '감기', '위장병', '두통' 등으로 나누어 진단하듯이요.

PRISM 은 AI 의 실수를 다음 4 가지로 분류합니다:

**지식 누락 **(Knowledge Missing)
- 비유: "내 차에 스페어 타이어가 없네."
- 상황: AI 가 답을 알 수 있는 정보가 아예 없는 경우입니다. (예: 2025 년에 일어난 사건을 2023 년에 훈련된 AI 가 모를 때)
**지식 오류 **(Knowledge Error)
- 비유: "스페어 타이어가 있는데, 타이어가 구멍 난 줄 알고 있네."
- 상황: AI 가 정보를 가지고 있지만, 그 정보가 틀리거나 오래된 경우입니다. (예: "서울의 인구는 500 만 명이다"라고 옛날 데이터를 믿는 경우)
**추론 오류 **(Reasoning Error)
- 비유: "엔진과 브레이크는 다 좋은데, 운전자가 교차로에서 방향을 잘못 잡았네."
- 상황: 정보는 정확한데, 논리를 잘못 전개해서 엉뚱한 결론을 내리는 경우입니다. (예: "A 는 B 보다 크고, B 는 C 보다 크니 A 는 C 보다 작다"라고 계산 실수)
**지시 따르기 실패 **(Instruction Following Error)
- 비유: "운전자가 '빨간불에 멈춰'라고 했는데, AI 는 '파란불에 멈춰'라고 했네."
- 상황: 지식과 논리는 다 좋은데, 사용자가 준 규칙 (예: "쉼표 없이 써줘", "JSON 형식으로 줘") 을 무시한 경우입니다.

3. 실험 결과: "한 가지를 고치면 다른 게 망가진다" (Trade-off)

연구진은 24 개의 유명한 AI 모델 (GPT, Claude, Llama 등) 을 이 PRISM 으로 검사했습니다. 여기서 아주 중요한 사실을 발견했습니다.

발견: "AI 의 능력을 한 가지로만 완벽하게 고치기는 어렵다."
예시:
- 규칙을 잘 지키게 (지시 따르기) 훈련시키면, 논리 추론 능력이 떨어질 수 있습니다.
- 새로운 지식을 주입하면 (지식 오류 해결), 기존에 알던 지식을 잊어버리는 (망각) 현상이 생길 수 있습니다.
- 마치 자동차 튜닝을 할 때, 속도를 높이면 연비가 나빠지거나 핸들링이 불안정해지는 것과 비슷합니다.

4. 결론: "맞춤형 치료"가 필요하다

이 연구는 우리에게 중요한 메시지를 줍니다.

"AI 를 고칠 때는 '무조건 똑똑하게' 만드는 게 아니라, **어떤 부분 **(지식, 논리, 규칙 따르기)을 파악하고, 그 부분만 집중적으로 치료해야 합니다."

PRISM은 바로 그 진단 도구입니다. AI 가 왜 망상 (할루시네이션) 을 하는지 그 원인을 정확히 찾아내어, 더 안전하고 신뢰할 수 있는 AI 를 만드는 데 기여할 것입니다.

요약

PRISM 이란? AI 의 실수 원인을 4 가지 (지식부족, 지식오류, 논리실수, 규칙무시) 로 나누어 진단하는 새로운 검사 도구.
핵심 발견: AI 의 한 능력을 고치면 다른 능력이 떨어지는 '상충 관계'가 존재함.
기대 효과: AI 의 실수를 막기 위해 '무작정 훈련'하는 대신, 정확한 원인을 찾아 맞춤형 치료를 할 수 있게 됨.

이제 우리는 AI 가 틀린 말을 할 때, 단순히 "AI 가 나빠서"라고 탓하는 대신, "아, 이 AI 는 논리 엔진이 고장 났구나"라고 정확히 진단하고 고칠 수 있게 된 것입니다!

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 이 대화형 도구를 넘어 복잡한 작업을 수행하는 에이전트로 진화함에 따라 의료, 법률, 과학 등 고위험 분야에서 활용도가 높아지고 있습니다. 그러나 기존 LLM 은 사실적 일관성이 부족한 내용을 생성하는 '할루시네이션 (Hallucination)' 문제가 빈번하게 발생합니다.

기존의 할루시네이션 평가 벤치마크 (TruthfulQA, HaluEval 등) 는 다음과 같은 근본적인 한계를 가지고 있습니다:

혼합된 쿼리 (Mixed Queries): 지식 부족, 추론 오류, 지시 따르기 실패 등 다양한 실패 원인이 섞여 있어, 모델이 왜 실패했는지 특정하기 어렵습니다.
후기 평가 (Posterior Evaluation): 최종 출력 결과만 평가하여, 생성 파이프라인의 어느 단계 (기억, 추론, 지시) 에서 오류가 발생했는지 진단할 수 없습니다.
진단 부재: 오류의 원인을 명확히 규명하지 못하면 효과적인 완화 전략을 수립하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 할루시네이션을 단순한 오류가 아닌 진단 가능한 문제로 재정의하고, LLM 의 생성 파이프라인을 기반으로 한 새로운 벤치마크 PRISM을 제안했습니다.

A. 4 가지 실패 차원 (Failure Dimensions)

PRISM 은 할루시네이션을 생성 단계에 따라 4 가지 독립적인 차원으로 세분화합니다:

지식 오류 (Knowledge Error, KE): 모델이 내부 지식 (Parametric Knowledge) 을 보유하고 있지만, 잘못된 정보나 오래된 정보를 인출하는 경우 (예: 사실 왜곡, 메모리 내 충돌).
지식 누락 (Knowledge Missing, KM): 모델이 정답에 필요한 지식을 아예 보유하고 있지 않은 경우 (예: 도메인 특화 지식 부족, 가상의 사실, 최신 정보 부재).
추론 오류 (Reasoning Error, RE): 필요한 사실은 알고 있지만, 논리적 연결이나 추론 과정에서 실패하는 경우 (예: 논리적 오류, 절차적 실패, 정보 통합 실패).
지시 따르기 오류 (Instruction Following Error, IFE): 지식과 추론 능력은 있으나, 사용자가 명시한 제약 조건 (형식, 길이, 언어, 금지 단어 등) 을 위반하는 경우.

B. 데이터 구축 (Benchmark Construction)

직교성 원칙 (Orthogonality): 각 데이터 서브셋이 단일 실패 모드만 테스트하도록 설계하여 변수를 통제했습니다.
데이터 소스:
- 지식 기반: 위키백과, 바이두 백과 (KE), 2025 년 3 월~11 월 뉴스 및 논문 (KM - 시계열 데이터), 가상의 엔티티, 비공개 데이터.
- 추론 및 지시 기반: IMO 문제, 코드 생성 (RE), 복잡한 제약 조건이 포함된 합성 데이터 (IFE).
구축 파이프라인: 데이터 수집 $\rightarrow$ 노이즈 제거 $\rightarrow$ 멀티 에이전트 프레임워크 (스키마 정규화, 증거 검색, 유형 분류, 품질 점수 부여) $\rightarrow$ 인간 전문가 검토를 거쳐 최종 9,448 개의 인스턴스를 구성했습니다.

3. 주요 기여 (Key Contributions)

PRISM 벤치마크 제안: 4 가지 실패 차원 (KE, KM, RE, IFE) 과 65 가지 하위 태스크로 구성된 9,448 개의 샘플을 포함하는 최초의 진단형 벤치마크입니다.
포괄적 평가: 24 개의 주요 오픈소스 및 상용 LLM 을 대상으로 한 대규모 평가를 통해 모델별 할루시네이션 원인을 정량화했습니다.
완화 전략의 트레이드오프 분석: 지시 따르기 (Instruction Following) 나 추론 (Reasoning) 향상을 위한 최적화 전략이 다른 차원의 성능을 저하시킬 수 있음을 실증했습니다.
내부 메커니즘 분석: 어텐션 맵 (Attention Map) 분석을 통해 KE 는 모델의 선입견 (Parametric Priors) 이 증거를 무시하게 만들고, KM 은 잘못된 문맥에 과도하게 의존하게 만든다는 메커니즘을 규명했습니다.

4. 실험 결과 (Results)

모델 성능: Claude-Opus-4.5, Gemini-3-Pro, Gemini-3-Flash 등이 전체적으로 가장 낮은 할루시네이션율 (H-Score) 을 보였습니다.
모델 유형 비교: 오픈소스 모델은 지식 누락 (KM) 차원에서는 상용 모델과 비슷해졌으나, 복잡한 추론 (RE) 과 지시 따르기 (IFE) 차원에서는 여전히 큰 격차를 보였습니다.
완화 전략의 역설 (Trade-offs):
- ICL (In-Context Learning): 프롬프트 예시 수를 늘려도 근본적인 지식 부족이나 추론 오류 해결에는 큰 효과가 없었습니다.
- Instruction Tuning: 지시 따르기 능력은 향상되었으나, 추론 능력은 오히려 저하되는 경향이 있었습니다.
- Reasoning SFT: 추론 능력은 크게 향상되었으나, 지식 인출이나 제약 조건 준수 능력이 떨어지는 '트레이드오프'가 발생했습니다.
계산 비용: 지시 위반을 감지하고 거절 (Refusal) 하는 과정은 할루시네이션을 생성하는 것보다 더 많은 활성 뉴런 (ActN) 과 연산량 (GFLOPs) 을 소모함을 확인했습니다.

5. 의의 및 결론 (Significance)

PRISM 은 LLM 의 할루시네이션을 단순히 '오류'로 치부하는 것을 넘어, 어떤 인지 단계에서 왜 실패하는지를 체계적으로 진단할 수 있는 프레임워크를 제공합니다.

신뢰성 있는 모델 개발: 특정 약점을 파악하여 표적 훈련 (Targeted Training) 을 가능하게 하여, 한 차원을 개선할 때 다른 차원이 희생되는 불균형을 방지하는 균형 잡힌 완화 전략 수립에 기여합니다.
미래 연구 방향: 다중 모달 (Multimodal) 및 저자원 언어 환경으로의 확장, 실시간 지식 업데이트 대응 등을 통해 더 견고한 LLM 거버넌스 체계의 기초를 마련했습니다.

결론적으로, 이 연구는 LLM 의 신뢰성을 높이기 위해 할루시네이션의 원인을 정밀하게 분리하고 진단하는 것이 필수적임을 강조하며, 이를 위한 표준화된 도구인 PRISM 을 제시했습니다.