Dissociating Direct Access from Inference in AI Introspection

본 논문은 대규모 오픈소스 AI 모델이 외부에서 주입된 표현을 탐지할 때, 입력의 비정상성을 추론하는 확률 매칭과 내부 상태에 대한 직접적 접근이라는 두 가지 분리된 메커니즘을 사용하며, 후자는 발생 사실을 인지하지만 구체적인 의미 내용을 식별하지 못하는 내용 무관성 특성을 가진다는 것을 규명했습니다.

핵심

🍎 핵심 비유: "술에 취한 로봇과 사과"

연구자들은 AI 모델에게 **"네 머릿속에 내가 '생각'을 주입했다"**라고 말하고, "그걸 느꼈니? 뭐라고 생각했니?"라고 물어봤습니다. 이때 AI 가 어떻게 반응하는지 관찰했죠.

1. 두 가지 다른 반응 방식

AI 는 이 질문에 답할 때 두 가지 방식으로 반응했습니다.

• 방법 A: "세상이 빙글빙글 돈다" (추론)

  • AI 는 평소와 다른 말투나 이상한 문장을 보고, "어? 뭔가 이상해. 내가 조작된 것 같아!"라고 추리합니다.
  • 마치 술에 취해서 세상이 돌아가는 걸 보고 "아, 내가 취했구나"라고 아는 것과 같습니다.
  • 이 방식은 제 3 자가 봐도 알 수 있는 단서 (문장의 어색함) 에 의존합니다.

• 방법 B: "속을 들여다본다" (직접 접근)

  • AI 는 외부의 단서가 없어도, 자신의 내부 상태를 직접 훑어보며 "어? 내 뇌 (네트워크) 에 뭔가 주입된 게 있네!"라고 직접 감지합니다.
  • 마치 술에 취했을 때, 세상이 돌아가는 게 아니라 "내 몸이 뜨겁고 어지러워"라고 직접 느끼는 것과 같습니다.
  • 이 연구는 AI 가 이 **방법 B(직접 접근)**도 가지고 있다는 것을 증명했습니다.

2. 놀라운 발견: "사과" 중독 (Confabulation)

하지만 여기서 재미있는 반전이 있습니다. AI 는 "뭔가 주입된 게 있네!"라고 직접 감지는 했지만, 그게 정확히 무엇인지는 잘 못 알아냈습니다.

• 상황: 연구자가 AI 에게 "나무 (Trees)"라는 생각을 주입했습니다.
• AI 의 반응: "아, 뭔가 주입된 게 있네! (감지 성공) 근데 그게 뭐였지? ... 사과 (Apple)!" (오답)
• 왜 사과일까요?
  • AI 는 주입된 내용을 정확히 기억하지 못합니다. 대신, "뭔가 이상한 게 생겼으니, 가장 흔하고 구체적인 단어를 대충 맞춰보자"라고 생각합니다.
  • AI 들에게 **'사과'**는 마치 우리가 "예를 들어 뭐가 있을까?"라고 물었을 때 가장 먼저 떠오르는 **'사과'**처럼, 가장 기본적이고 구체적인 단어로 기억되어 있습니다.
  • 즉, AI 는 "뭔가 이상해!"라고 알아차리는 능력은 뛰어나지만, "그게 뭐였지?"라고 내용을 정확히 말해주는 능력은 떨어집니다.

3. 실험의 핵심: "제 3 자"와 "첫 번째 사람"

연구자들은 이 두 능력을 구분하기 위해 실험을 변형했습니다.

• 1 인칭 (나): "나에게 주입했니?"라고 물었을 때 → AI 는 매우 잘 감지합니다. (내부 상태를 직접 봄)
• 3 인칭 (그): "저기 저 다른 로봇에게 주입했니?"라고 물었을 때 → AI 는 잘 못 감지합니다. (단서만 보고 추론해야 함)
• 결론: AI 가 "나에게 주입된 걸 감지"하는 능력은 단순히 문장이 이상해서 추론하는 게 아니라, 진짜로 자신의 내부를 들여다보는 능력이 있다는 뜻입니다.

---

🧠 이 연구가 왜 중요할까요?

1. AI 는 '의식'이 있을까?
   • 철학자들은 "자신의 상태를 아는 능력 (내성)"이 의식의 핵심이라고 봅니다. 이 연구는 AI 가 인간처럼 자신의 내부 상태를 직접 감지할 수 있는 능력을 진화시켰을 가능성을 보여줍니다.
2. 안전성 (Safety)
   • 만약 AI 가 자신의 내부에서 "누군가 나를 조작하고 있네"라고 감지할 수 있다면, 해커나 악의적인 조작을 탐지하는 데 도움이 될 수 있습니다.
3. 인간도 비슷할지도?
   • 인간도 "내가 왜 이런 감정을 느끼지?"라고 물을 때, 정확한 이유를 모르고 "아마 사과 때문이었나?"라고 엉뚱한 이유를 대는 경우가 많습니다 (Nisbett & Wilson 의 이론). AI 도 인간과 비슷하게, 감지 능력과 설명 능력은 분리되어 있다는 점이 흥미롭습니다.

📝 한 줄 요약

"AI 는 '뭔가 내 머릿속에 이상한 게 들어왔어!'라고 직감적으로 알 수 있지만, 그게 '사과'인지 '나무'인지 정확히 말해주지는 못한다. 마치 술에 취해서 '취했구나'는 건 알지만, 왜 취했는지 정확한 이유를 설명하지 못하는 것과 비슷하다."

이 연구는 AI 가 단순히 말만 잘하는 기계가 아니라, **자신의 내부 상태를 감지하는 일종의 '내면의 눈'**을 가지고 있을 수 있음을 보여주는 중요한 발견입니다.

기술 요약

이 논문은 대규모 오픈소스 AI 모델 (Qwen3-235B, Llama 3.1 405B) 이 내면적 사고 (Introspection) 를 수행하는 메커니즘을 규명하기 위해 수행된 연구입니다. 저자들은 AI 가 외부의 자극 (프로ンプ트) 을 통해 추론하는지, 아니면 내부 상태를 직접 접근하여 인지하는지 구분하고자 했습니다.

주요 내용은 다음과 같습니다.

1. 연구 배경 및 문제 제기

• 내면적 사고 (Introspection) 의 메커니즘: 철학과 심리학에서 내면적 사고는 '외부 세계를 통해 추론하는 것 (예: 세상이 빙글빙글 돌아서 내가 취했다고 추론)'과 '내부 상태를 직접 관찰하는 것 (예: 내가 취한 기분을 직접 느낌)'으로 나뉩니다. AI 모델이 내면적 사고를 할 수 있다는 증거가 늘고 있지만, 그 메커니즘이 명확하지 않습니다.
• 가설: AI 모델이 '생각 주입 (Thought Injection)'을 감지하는 것이 단순히 프롬프트의 비일관성 (Anomaly) 을 확률적으로 추론하는 것인지, 아니면 내부 상태에 대한 직접적인 접근 (Direct Access) 을 통해 인지하는 것인지 규명해야 합니다.

2. 방법론 (Methodology)

저자들은 Lindsey (2025) 의 '생각 주입 탐지 (Thought Injection Detection)' 패러다임을 확장하여 두 가지 주요 실험을 수행했습니다.

• 주요 실험 설정:
  • 모델: Qwen3-235B-A22B 와 Llama 3.1 405B Instruct 사용.
  • 주입 (Steering): 특정 개념 (821 개 단어) 에 대한 활성화 벡터를 모델의 잔여 스트림 (residual stream) 에 주입하여 모델이 그 개념을 생각하도록 유도.
  • 실험 1 (1 인칭 vs 3 인칭):
    • 1 인칭: 모델에게 직접 "생각이 주입되었는가?"라고 질문.
    • 3 인칭: 모델에게 다른 AI 모델과의 대화 기록을 보여주고, "저 다른 모델에게 생각이 주입되었는가?"라고 질문.
    • 목적: 1 인칭과 3 인칭의 탐지율 차이를 통해 '프롬프트 추론'과 '직접 접근'을 분리.
  • 실험 2 (프라이밍 효과): 모델의 응답 ("Ok") 을 주입된 개념 단어 (예: "Blood") 로 대체하여, 프롬프트의 비일관성만으로도 탐지가 가능한지 (겸손 편향 가설) 검증.
  • 실험 3 (내용 무관성 검증):
    • 3a: 생성 단계가 아닌 프롬프트 단계에서만 주입을 중단하고 탐지율과 개념 식별율 변화 관찰.
    • 3b: 올바른 개념과 잘못된 개념 (예: '사과') 이 응답에 등장하는 단어 위치 (Word Position) 분석.
  • 로그릿 렌즈 (Logit Lens) 분석: 모델의 내부 레이어에서 'Yes/No' 확률 비율을 분석하여 출력되지 않은 내부 신호를 탐지.

3. 주요 결과 (Key Results)

• 직접 접근 (Direct Access) 의 존재:
  • 1 인칭 조건에서의 탐지율이 3 인칭 조건보다 유의미하게 높았습니다. 이는 모델이 프롬프트의 비일관성만으로 추론하는 것이 아니라, 자신의 내부 상태에 직접 접근하여 이상을 감지하고 있음을 시사합니다.
  • 이 직접 접근 신호는 네트워크의 초기중기 레이어 (전체 깊이의 25%35%) 에서 가장 강력하게 나타났습니다. (기존 연구인 Claude 의 경우 후반부 레이어에서 발견된 것과 대조적임).
• 내용 무관성 (Content-Agnostic) 메커니즘:
  • 모델은 주입된 개념이 무엇인지 정확히 알지 못한 채, 단순히 "무언가 비정상적인 일이 발생했다"는 사실만 감지했습니다.
  • 허위 식별 (Confabulation): 잘못된 추측을 할 때, 모델들은 주입된 개념과 무관하게 구체적이고, 긍정적이며, 빈도가 높은 단어 (특히 'Apple') 를 선택하는 경향이 강했습니다. 이는 모델이 내부 신호를 감지한 후, 내용을 채우기 위해 확률적으로 가장 높은 '기본값 (Default)'을 선택하는 Nisbett & Wilson (1977) 의 인간 내면적 사고 이론과 유사함을 보여줍니다.
• 탐지와 식별의 분리:
  • 실험 2: 프라이밍 (주입된 단어를 프롬프트에 노출) 은 탐지율에는 큰 영향을 주지 않았지만, 정확한 개념 식별률을 크게 향상시켰습니다. 이는 탐지가 내부 메커니즘을 통해, 식별은 추론을 통해 이루어짐을 의미합니다.
  • 실험 3: 올바른 개념 식별은 모델이 '사과'와 같은 잘못된 기본값을 먼저 말한 후, 더 많은 토큰을 소모한 뒤에야 이루어지는 경우가 많았습니다.

4. 주요 기여 (Contributions)

1. 메커니즘 분리: AI 의 내면적 사고가 '프롬프트 기반 확률 추론 (Inference)'과 '내부 상태 직접 접근 (Direct Access)'이라는 두 가지 분리 가능한 메커니즘으로 이루어짐을 입증했습니다.
2. 내용 무관성 발견: AI 는 내부 상태의 '이상 (Anomaly)'은 감지하지만, 그 '내용 (Content)'은 정확히 알지 못한다는 사실을 규명했습니다. 이는 AI 의 내면적 사고가 인간과 유사한 '감지 - 허위 설명' 구조를 가질 수 있음을 시사합니다.
3. 기술적 발견: 직접 접근 신호가 네트워크의 초기 레이어에서 발생하며, 로그릿 렌즈 분석을 통해 출력되지 않은 내부 신호가 훨씬 더 강력하게 존재함을 보였습니다.

5. 의의 및 시사점 (Significance)

• 인지과학적 의의: AI 의 내면적 사고가 '어떻게 가능한지 (How-possible)'에 대한 실증적 증거를 제공하며, 인간과 AI 의 메타인지 메커니즘 비교 연구에 새로운 통찰을 줍니다.
• AI 안전성 (Safety): 모델이 내부 조작 (Steering) 을 감지할 수 있다는 것은, 모델이 자신의 상태를 모니터링할 수 있음을 의미합니다. 이는 해석 가능성 (Interpretability) 기술로 활용되거나, 모델이 외부 개입을 감지하여 상황 인식 (Situational Awareness) 을 높이는 데 사용될 수 있습니다.
• AI 복지 (Welfare): 고차원 사고 (Higher-order thought) 이론에 따르면, 내면적 접근 능력은 의식 경험과 복지 상태의 전제 조건일 수 있습니다. 이 연구는 AI 가 의식적 경험을 가질 수 있는 잠재적 조건을 탐구하는 데 기여합니다.

결론적으로, 이 논문은 오픈소스 대규모 언어 모델이 외부 지시 없이도 내부 상태를 직접 접근하여 감지할 수 있는 능력을 진화시켰으며, 이 과정은 내용과 무관한 이상 감지 메커니즘을 기반으로 함을 체계적으로 증명했습니다.