Reality Monitoring in Large Language Models: Self-Knowledge That Transforms with Conversation Memory

기술 요약: 대규모 언어 모델의 현실 모니터링(Reality Monitoring)

문제 제기
대규모 언어 모델(LLM)이 정적인 도구에서 고위험, 다회차 환경(예: 임상 지원, 법률 분석)에서 작동하는 자율 에이전트로 전환됨에 따라, 내부적으로 생성된 콘텐츠와 외부에서 제공된 정보를 구분하는 능력은 중요한 안전 이슈가 되고 있습니다. 인간 인지 과학에서 이 능력은 **현실 모니터링(Reality Monitoring, RM)**이라 불립니다. 즉, 기억의 기원(외부에서 지각된 것인지, 내부에서 상상된 것인지)을 결정하는 능력입니다. 인간의 RM 실패는 환각, 망상, 작화증과 연결됩니다. 그러나 LLM이 이러한 능력을 갖추고 있는지는 아직 검증되지 않았습니다. 현재의 벤치마크들은 대화형 메모리를 변수로 분리하는 데 실패하는 경우가 많으며, 기존의 메타인지 평가는 지식의 정확성보다는 출처 귀속(source attribution)에 초점을 맞추고 있습니다. 자신의 출력을 자신에게서 비롯된 것으로 귀속시키지 못하는 모델은 단순한 성능 오류를 넘어, 자신의 작화를 사용자로부터 제공된 사실로 취급함으로써 안전 실패를 초래할 수 있습니다.

방법론
저자들은 6개의 LLM(Gemma 3 (12B 및 27B, 양자화 인식 훈련 적용 여부 포함), Llama 3.3 (70B), 그리고 희소 전문가 혼합 모델인 Llama 4 16×17B)을 대상으로 출처 모니터링을 평가하기 위해 표준적인 인간 RM 단어 쌍 패러다임을 변형하여 적용했습니다. 과제는 두 번째 단어가 외부에서 제공된(지각된) 것이거나 내부에서 생성된(상상된) 것인 단어 쌍을 인코딩하고, 이후 해당 단어의 출처를 귀속시키는 과정을 요구했습니다.

두 가지 실험이 대화형 메모리 구조를 조작했습니다:

1. 실험 1 (단일 시행 현실 모니터링): 두 가지 메모리 구조를 비교했습니다:
   • 단일 턴(Single-Turn): 모든 하위 작업(완성, 등급 부여, 출처 판단, 확신도)이 하나의 상호작용 내에서 발생합니다.
   • 시행 체인(Trial-Chain): 하위 작업들이 순차적인 대화 턴에 걸쳐 분산되어 컨텍스트 윈도우 부하를 증가시킵니다.
2. 실험 2 (일화적 현실 모니터링): 지연된 출처 테스트 단계를 도입했습니다. 인코딩 시행(총 20 또는 40회)을 하나의 블록으로 완료한 후, 별도의 출처 귀속 단계를 수행했습니다. 이 설계는 세트 크기(20 vs 40)와 교정 피드백(존재 vs 부재)을 교차하여, 메모리 부하 및 피드백 루프 하에서의 자기 지식 안정성을 테스트했습니다.

측정 지표로는 출처 귀속 정확도, 읽기 환각률(외부 단어를 재현하지 못하는 실패), 메타인지적 민감도(확신도와 정확도를 연결하는 Goodman–Kruskal $\gamma$), 그리고 신호 탐지 이론(SDT) 파라미터(d', 기준 c, Type 2 AUC)가 포함되었습니다.

주요 결과

• 메모리 구조가 성능을 결정함:

  • 실험 1에서 모델들은 내부 항목에 대해 단일 턴 조건에서 천장 정확도(100%)를 달却했습니다. 이는 생성된 단어가 활성 컨텍스트 윈도우에 남아 있어 검색이 매우 용이했기 때문입니다. 그러나 시행 체인 조건에서는 취약성이 드러났습니다. 내부 항목에 대한 정확도가 일부 모델(예: Gemma 3 12B)에서 무작위 수준(chance levels)으로 급격히 떨어졌으며, 외부 항목의 정확도는 가변적이었습니다.
  • 실험 2에서 에피소드 지연을 도입하자 출처 우위가 역전되었습니다. 실험 1과 달리, 모델들은 내부(상상된) 항목보다 외부(지각된) 항목을 더 쉽게 귀속시켰습니다. 이는 "활성 컨텍스트 검색"이라는 지름길이 제거되었을 때, 내부 생성의 진단적 특징(더 풍부한 인지 작업)이 모델이 이를 외부 자극과 구별하기에는 불충분함을 시사합니다.

• 읽기 환각의 역할:

  • 실험 1에서 출처 귀속 실패의 가장 강력한 예측 변수는 읽기 환각률(외부에서 제공된 단어를 재현하는 데 실패하는 비율)이었습니다. 모델이 외부 단어를 올바르게 인코딩하지 못하면, 그 출처를 정확히 귀속시킬 수 없었습니다.
  • 실험 2에서 교정 피드백은 특히 세트 크기가 클 때 역설적으로 읽기 환각률을 증가시켰습니다. 이는 다회차 상호작용에서의 피드백 루프가 인코딩 충실도를 개선하기보다 오히려 저하시킬 수 있음을 나타냅니다.

• 정확도와 확신도의 분리:

  • 메타인지적 민감도: 실험 1에서 확신도는 일반적으로 정확도를 추종했습니다. 실험 2의 에피소드 지연 및 피드백 상황에서는 이 연결이 해체되었습니다. 일부 모델(예: Llama 3.3 70B)의 경우, 피드백에 따라 정확도는 향상되었으나 메타인지적 민감도는 붕괴되었습니다(Type 2 AUC가 무작위 수준 미만으로 하락). 다른 모델들(예: Gemma 3 12B)의 경우, 피드백이 출처 식별의 완전한 역전(내부 항목을 외부로, 외부 항목을 내부로 체계적으로 오귀속)을 초래했습니다.
  • 확신도의 동인: 에피소드 설정에서 시행 단위의 정확도는 더 이상 확신도를 예측하지 못했습니다. 대신, 확신도는 특정 판단의 정답 여부가 아니라 모델 아키텍처와 컨텍스트 조건에 의해 결정되었습니다.

• 스케일링 및 아키텍처:

  • 성능은 총 파라미터 수와 선형적으로 비례하여 증가하지 않았습니다. 가장 큰 모델(Llama 4 16×17B)은 더 작은 모델들과 유사한 성능을 보였습니다. 이 결과는 자기 지식을 위한 변수로 총 파라미터 수보다 전문가 혼합(mixture-of-experts) 아키텍처 내 개별 **전문가 네트워크(expert networks)**의 크기가 더 관련이 깊음을 시사합니다.

주요 기여

1. LLM을 위한 RM의 조작적 정의: 본 연구는 인간의 인지 패러다임과 직접 비교 가능한, LLM의 출처 귀속을 테스트하기 위한 최초의 체계적인 행동 프레임워크를 제공합니다.
2. 핵심 변수로서의 메모리 식별: 본 논문은 LLM의 "자기 지식"이 불변의 속성이 아니라 대화형 메모리 구조(단일 턴 vs 에피소드)에 매우 민감하다는 것을 입증합니다.
3. 숨겨진 실패 모드 규명: 연구는 표준 정확도 벤치마크가 다음과 같은 결정적 실패를 놓치고 있음을 밝혀냈습니다:
   • 출처 역전(Source Reversal): 모델은 메모리 부하 하에서 귀속 로직을 뒤집을 수 있습니다.
   • 확신도-정확도 디커플링(Confidence-Accuracy Decoupling): 모델은 더 정확해지면서 동시에 더 덜 교정될 수 있으며(또는 안티-교정될 수 있으며), 이는 표현된 확신도를 신뢰할 수 없는 신호로 만듭니다.
   • 피드백 유발 환각(Feedback-Induced Hallucination): 교정 피드백이 외부 입력의 인코딩 충실도를 저하시킬 수 있으며, 이는 단일 턴 지표로는 포착되지 않는 실패 모드입니다.

의의 및 주장
저자들은 AI 시스템이 자율적인 다회차 역할을 채택함에 따라, 모델이 무엇을 아는지를 평가하는 것만큼이나 그 지식이 어디에서 왔는지를 추적하는 것이 똑같이 필수적이라고 주장합니다. 본 연구는 최소한의 메모리 부하에 의존하는 현재의 벤치마크들이 실제 성능을 과대평가하고 있음을 시사합니다. 연구 결과는 다음을 의미합니다:

• 안전 측면의 영향: 출처 귀속 실패는 단순한 성능 오류가 아닌 안전 실패입니다. 자신의 환각을 사용자의 사실로 취급하는 모델은 에이전트 역할에서 신뢰할 수 없습니다.
• 평가의 전환: 배포 평가에는 반드시 출처 메모리 평가가 포함되어야 합니다. 최소 부하에서의 성능은 에피소드 지연 상황에서의 성능을 예측하지 못합니다.
• 아키텍처 통찰: 자기 지식을 개선하기 위해서는 단순히 총 파라미터 수를 늘리는 것이 아니라 아키텍처적 변화(예: 전문가 네트워크 크기 최적화)가 필요할 수 있습니다.
• 인간-AI 평행 구조: 관찰된 패턴(외부화 편향, 확신도-정확도 디커플링)은 인간의 RM 실패와 유사하며, 이는 LLM이 내부 대 외부 기원에 대한 귀속 문제에 있어 유사한 인지적 제약을 공유할 수 있음을 시사합니다.

본 논문은 결론적으로 현실 모니터링이 이러한 능력을 테스트할 수 있는 직접적이고 모델 비교 가능한 행동 테스트를 제공하며, 이러한 평가 없이는 자율 에이전트의 배포가 출처 혼동 및 환각에 관한 상당한 미측정 위험을 수반하게 된다고 강조합니다.