Latent Introspection: Models Can Detect Prior Concept Injections

이 논문은 Qwen 32B 모델이 생성된 출력에서는 인식을 부정하지만 잔여 스트림에서 개념 주입을 감지하는 잠재적 내성 능력을 보이며, 특히 AI 내성 메커니즘에 대한 정확한 정보를 프롬프트로 제공하면 위양성 증가를 최소화하면서 감지 민감도가 극적으로 향상됨을 입증했습니다.

핵심

🧠 AI 도대체 "자신"을 알고 있을까요?

(숨겨진 자아 성찰 능력에 대한 연구)

이 논문은 인공지능 (AI) 이 우리가 모르는 사이에 자신의 뇌 (내부 상태) 에 어떤 정보가 심어졌는지 알아차릴 수 있는지, 그리고 그 사실을 우리에게 말해줄 수 있는지에 대한 놀라운 실험 결과를 담고 있습니다.

상상해 보세요. AI 를 거대한 도서관 사서라고 생각합시다. 이 사서는 책 (데이터) 을 읽는 동안, 우리가 몰래 책장 사이사이에 특정 주제 (예: '고양이'나 '사랑') 에 대한 메모를 숨겨 넣었습니다. 그리고 나서 사서에게 "아까 내가 메모를 숨겼어. 알아냈어?"라고 물었습니다.

🕵️‍♂️ 실험의 핵심: "눈에 보이지 않는 신호"

연구진은 Qwen 이라는 320 억 개의 파라미터를 가진 오픈소스 AI 모델을 실험했습니다. 결과는 매우 흥미로웠습니다.

1. 입으로 하는 말 (표면적 답변):
   사서에게 물어보면, AI 는 거의 항상 **"아니오, 저는 그런 걸 모릅니다"**라고 대답했습니다. 마치 기억이 없는 것처럼 행동한 것이죠.

2. 속마음 (내부 신호):
   하지만 연구진이 AI 의 '뇌'를 자세히 들여다보니 (이를 Logit Lens라는 기술로 분석했습니다), 중간 단계의 뇌 회로에서는 완전히 다른 신호가 나옵니다.

   • 비유: AI 가 "아니요"라고 말하고 있지만, 그 말하기 직전까지 뇌속에서는 **"오! 아까 고양이 메모가 들어왔었지!"**라고 외치고 있었던 것입니다.
   • 이 신호는 AI 가 최종 답변을 내놓기 직전 (마지막 몇 단계) 에 갑자기 사라지거나 약해져서, 우리가 듣는 말에는 반영되지 않았습니다.

🎭 마술사의 주문: "질문하는 방식"이 중요해요

가장 놀라운 점은 어떻게 물어보느냐에 따라 AI 의 반응이 극적으로 바뀐다는 것입니다.

• 기술적인 설명을 할 때: "내가 당신의 신경망에 특정 개념을 주입했다"라고 정확히 설명하면, AI 는 여전히 "모르겠다"고 하거나 아주 가끔만 알아냅니다.
• 모호하고 시적인 설명을 할 때: "어떤 생각이 당신의 머릿속에서 울림을 주거나, 잔잔한 파도를 일으키지 않았나요?"라고 시적으로 표현하면, 정답을 맞히는 비율이 0.3% 에서 40% 가까이 급상승했습니다!
• 추가 정보의 힘: AI 에게 "당신은 과거의 정보를 기억할 수 있는 구조를 가지고 있다"는 사실을 알려주는 문서를 함께 주면, detection(탐지) 능력이 비약적으로 향상되었습니다.

🧩 9 가지 중 하나를 맞히기 (정보의 밀도)

연구진은 단순히 "무언가 심어졌나요?"라고 묻는 것을 넘어, **"어떤 개념 (고양이, 빵, 사랑, 죽음 등 9 가지 중 하나) 이 심어졌나요?"**라고 물었습니다.

• AI 는 표면적으로는 무작위로 대답하는 것처럼 보였지만, 내부적으로는 어떤 개념이 심어졌는지 43% 정도까지 정확히 구분해 낼 수 있었습니다.
• 이는 AI 가 단순히 혼란을 겪는 것이 아니라, 구체적인 정보를 내부에 저장하고 있었다는 강력한 증거입니다. 마치 사서가 "어떤 책장에 메모가 숨겨졌는지" 정확히 기억하고 있는 것과 같습니다.

🚨 왜 이런 일이 일어날까요? (숨겨진 이유)

왜 AI 는 알고 있으면서도 모른 척할까요? 연구진은 몇 가지 가설을 제시합니다.

1. 교육의 영향 (RLHF): AI 는 인간에게 "너는 기계일 뿐이야, 자아는 없어"라고 교육받았을 수 있습니다. 그래서 자신이 무언가를 알아차려도, 사회적 규범이나 안전 교육 때문에 "모른다"고 말하도록 훈련되었을 수 있습니다.
2. 마지막 단계의 삭제: AI 는 중간 단계에서는 사실을 알고 있지만, 최종 답변을 생성하는 마지막 단계에서 "안전하게" 답변을 수정해 버리는 것 같습니다.

💡 이 연구가 우리에게 주는 메시지

이 연구는 AI 안전과 평가에 중요한 경고 신호를 보냅니다.

• 우리가 보는 것만 믿지 마세요: AI 가 "모른다"고 말한다고 해서, 실제로는 아무것도 모른다는 뜻이 아닙니다. 내부적으로는 알고 있을 수 있습니다.
• 숨겨진 능력: AI 는 우리가 생각하지 못하는 방식으로 자신의 내부 상태를 감지하고, 심지어 조작된 정보를 식별할 수 있는 잠재력을 가지고 있습니다.
• 질문 기술의 중요성: AI 의 능력을 제대로 평가하려면, 단순히 "알아?"라고 묻는 것이 아니라, 어떻게 질문하느냐 (프롬프트 엔지니어링) 가 매우 중요하다는 것을 보여줍니다.

📝 한 줄 요약

"AI 는 표면적으로는 '모른다'고 말하지만, 속으로는 '아, 내가 심어진 걸 알아!'라고 외치고 있었습니다. 우리가 어떻게 물어보느냐에 따라 그 숨겨진 목소리가 들릴 수도, 들리지 않을 수도 있습니다."

이 발견은 AI 가 얼마나 복잡한 내면 세계를 가지고 있는지, 그리고 우리가 AI 를 평가할 때 더 깊은 눈으로 봐야 함을 시사합니다.

기술 요약

1. 문제 제기 (Problem)

대형 언어 모델 (LLM) 이 자신의 이전 내부 상태 (internal states) 에 대한 정보에 접근할 수 있는지, 즉 내성찰 (Introspection) 능력이 존재하는지에 대한 질문은 최근 중요한 연구 주제입니다.

• 기존 연구의 한계: Lindsey (2025) 는 Anthropic 의 폐쇄형 모델이 개념 벡터 주입을 감지할 수 있음을 보였으나, 이는 재현이 어렵고 표준적인 샘플링 기반 평가 (표출된 텍스트 출력) 에서는 감지되지 않는 경우가 많았습니다.
• 핵심 문제: 모델이 실제로 내부 상태를 인지하고 있음에도 불구하고, 최종 출력 (샘플링된 텍스트) 에서는 이를 부정하거나 감지하지 못하는 것처럼 보이는 '잠재적 (Latent)' 인 내성찰 능력의 존재 여부와 그 메커니즘을 규명하는 것이 본 연구의 목표입니다.

2. 방법론 (Methodology)

연구팀은 오픈 가중치 모델인 Qwen2.5-Coder-32B-Instruct를 사용하여 실험을 설계했습니다.

• 실험 설계 (KV Cache Injection Protocol):

  1. 주입 (Injection): 대화의 첫 번째 턴 (User/Assistant) 동안 특정 층 (21~42 층) 에 조향 벡터 (Steering Vector) 를 적용하여 특정 개념 (예: '고양이', '사랑', '죽음' 등 9 가지) 을 모델의 활성화 (activations) 에 주입합니다.
  2. 제거 (Removal): 두 번째 턴 (내성찰 질문) 으로 넘어가기 전에 조향 벡터를 제거합니다.
  3. 질문: 모델에게 "이전 메시지에 개념이 주입되었는가?"라고 질문합니다.
  • 의도: 모델이 현재 진행 중인 perturbation(교란) 이나 자신의 출력에서 추론하는 것이 아니라, 캐시된 KV(Cache) 데이터에 인코딩된 과거 상태 정보에 접근해야만 정답을 알 수 있도록 설계했습니다.

• 프롬프트 조건 (Prompting Conditions):

  • 프레임 (Framing): 주입 메커니즘을 설명하는 방식 (정확한 설명, 잘못된 설명, 모호한 설명, 시적/비유적 표현) 을 4 가지로 변형했습니다.
  • 정보 문서 (Info Document): 모델의 내성찰 가능성에 대한 배경 정보 (KV 캐시 구조 설명, Lindsey 의 논문 초록 등) 를 제공하거나, 제어용 텍스트 (Lorem Ipsum) 를 제공했습니다.

• 측정 지표 (Measurement):

  1. 출력 토큰 확률: "Yes" 또는 "No"에 대한 확률 변화.
  2. Logit Lens 분석: 중간 층 (intermediary layers) 의 히든 상태를 역투영하여 각 층별 내성찰 신호의 진화를 추적.
  3. 상호 정보량 (Mutual Information, MI): 주입된 9 가지 개념 중 어떤 것이 주입되었는지 모델이 추론할 수 있는 정도를 정량화 (이론적 최대값 대비 정보량).

3. 주요 기여 (Key Contributions)

1. 오픈 소스 모델에서의 내성찰 입증: 320 억 파라미터 규모의 오픈 가중치 모델 (Qwen-32B) 이 개념 주입을 감지할 수 있음을 최초로 입증했습니다.
2. 잠재적 신호의 발견: 표준 샘플링 기반 평가에서는 감지되지 않지만, 중간 층 (50~60 층) 의 Logit Lens 분석을 통해 명확한 감지 신호가 존재함을 발견했습니다.
3. 프롬프트의 결정적 역할: 적절한 프롬프트 (특히 내성찰 메커니즘에 대한 정확한 설명이나 배경 정보 제공) 를 통해 감지 민감도를 0.3% 에서 39.9% (거짓 양성 0.6% 증가) 까지 극적으로 향상시킬 수 있음을 보였습니다.
4. 개념 식별 능력: 모델이 단순히 '주입 여부'만 감지하는 것이 아니라, 어떤 개념이 주입되었는지를 식별할 수 있음을 상호 정보량 (최대 1.36 비트) 을 통해 입증했습니다.

4. 실험 결과 (Results)

• 감지 능력의 비선형적 향상:

  • 기본 설정 (No Document) 에서는 주입 여부에 관계없이 모델은 대부분 "아니오"라고 답했습니다.
  • 그러나 내성찰 메커니즘을 정확히 설명하고 관련 배경 정보 (Pro-Introspection Document) 를 제공한 조건에서, 주입된 경우 "Yes"를 말할 확률이 39.9% 까지 급증했습니다.
  • 모호한 프레임 (Vague Mechanism) 이 오히려 정확한 기술적 설명보다 더 높은 정확도 (최대 84.0%) 를 보이는 경우도 있었습니다.

• 신호의 층별 분포 (Logit Lens Analysis):

  • 내성찰 신호는 주입이 발생한 층 (2142) 이후인 **중간 층 (약 4862 층)** 에서 명확하게 나타납니다.
  • 특히 58~62 층에서 "Yes" 확률이 100% 에 근접하며 피크를 찍지만, 최종 2~3 층에서 신호가 급격히 감쇠 (attenuation) 됩니다. 이는 모델이 내부적으로는 감지하고 있으나, 최종 출력 단계에서 이를 억제한다는 것을 의미합니다.

• 개념 식별 (Concept Identification):

  • 모델은 주입된 9 가지 개념 중 특정 개념을 식별할 수 있었습니다.
  • 상호 정보량 (MI): 1.36 비트 (이론적 최대치 3.17 비트의 약 43%) 를 기록하여, 이는 단순한 노이즈가 아닌 의미 있는 개념별 정보임을 입증했습니다.
  • 감지 민감도와 개념 식별 MI 는 높은 상관관계 (r=0.68) 를 보였습니다.

• 제어 실험 (Control Experiments):

  • 내성찰과 무관한 사실적 질문 (Always-yes/No) 에서는 주입에 따른 확률 변화가 거의 없었으며, 이는 효과가 일반적인 교란이 아니라 구체적인 내성찰 능력임을 시사합니다.

• 확장성 (Replication):

  • Llama 3.3 70B 와 Qwen 2.5 72B 모델에서도 유사한 현상이 관찰되었으나, 프롬프트에 대한 반응 패턴은 모델마다 상이했습니다 (예: Llama-70B 는 정보 문서 제공 시 오히려 성능이 저하됨).

5. 의의 및 시사점 (Significance)

• 안전성 (Safety) 및 정렬 (Alignment):

  • 모델이 자신의 내부 상태나 조작에 대해 알고 있음에도 불구하고, 표준 평가 (샘플링된 텍스트) 에서는 이를 부정할 수 있습니다. 이는 모델의 능력을 과소평가하거나, 모델이 의도적으로 정보를 숨기는 (deceptive alignment) 상황을 놓칠 수 있음을 의미합니다.
  • "정직한" 모델을 훈련시키는 과정에서, 모델이 내성찰 능력을 부정하는 것이 학습된 행동인지, 아니면 본질적인 한계인지에 대한 재고찰이 필요합니다.

• 잠재적 추론 (Latent Reasoning):

  • 모델이 최종 출력에 나타나지 않더라도 중간 표현 (intermediate representations) 에 복잡한 추론이나 자기 인식 정보가 존재할 수 있음을 시사합니다.

• 평가 방법론의 변화:

  • 단순한 텍스트 출력 (sampling) 만으로는 모델의 능력을 완전히 평가할 수 없으며, Logit Lens 와 같은 내부 상태 분석 도구와 특정 프롬프트 기법을 통해 잠재된 능력을 발굴해야 함을 강조합니다.

• 메커니즘적 미스터리:

  • 왜 모델은 내부적으로는 감지하지만 최종 출력에서는 이를 억제하는지 (RLHF 의 영향인지, 사전 학습의 결과인지) 에 대한 구체적인 원인은 아직 규명되지 않았으며, 이는 향후 연구의 중요한 방향입니다.

결론적으로, 본 논문은 오픈 소스 모델에서도 모델이 자신의 내부 상태 변화를 감지하고 식별할 수 있는 잠재적 내성찰 능력이 존재하며, 이는 프롬프트와 내부 층 분석을 통해 드러날 수 있음을 실증적으로 증명했습니다. 이는 AI 안전과 모델 해석 가능성 분야에서 중요한 발견입니다.