Intrinsic Self-Correction in LLMs: Towards Explainable Prompting via Mechanistic Interpretability

[기술 요약] LLM의 내재적 자기 수정: 기계론적 해석 가능성을 통한 설명 가능한 프롬프팅 연구

1. 문제 정의 (Problem Statement)

최근 대규모 언어 모델(LLM)은 외부 피드백이나 파라미터 업데이트 없이, 오직 프롬프팅(In-context feedback)만으로 자신의 출력을 개선하는 '내재적 자기 수정(Intrinsic Self-Correction)' 능력을 보여주고 있습니다. 이 현상은 코드 최적화나 수학적 추론 등 다양한 작업에서 성능을 향상시키지만, **"모델 내부에서 구체적으로 어떤 메커니즘을 통해 이러한 변화가 일어나는가?"**에 대한 기계론적 설명이 부족한 상태였습니다. 기존 연구들은 모델의 불확실성(Uncertainty)이나 신뢰도(Confidence)에 주목했으나, 프롬프팅이 모델의 내부 표현(Internal Representation)을 어떻게 물리적으로 이동시키는지에 대해서는 규명하지 못했습니다.

2. 연구 방법론 (Methodology)

본 논문은 기계론적 해석 가능성(Mechanistic Interpretability) 관점에서 자기 수정 과정을 분석하기 위해 다음과 같은 체계적인 방법론을 제안합니다.

• 프롬프트 유도 이동(Prompt-Induced Shifts, $\ell$): 자기 수정 프롬프트가 입력되었을 때, 이전 단계의 응답 표현과 현재 단계의 응답 표현 사이의 활성화 값(Activation) 차이를 계산하여 표현 공간에서의 '이동량'을 정의합니다.
• 조향 벡터(Steering Vectors, $\mu$) 구축: 대조 쌍(Contrastive Pairs, 예: 유해한 문장 vs 무해한 문장)을 사용하여, 특정 개념(예: 독성/비독성)을 나타내는 해석 가능한 잠재 방향(Latent Direction)을 추출합니다.
• 활성화 개입(Activation Intervention): 추출된 조향 벡터를 모델의 중간 레이어에 강제로 더해주는(Activation Addition) 방식을 통해, 해당 방향이 실제로 모델의 행동을 변화시키는지 인과 관계(Causality)를 검증합니다.
• 정렬도 측정(Alignment Analysis): 프롬프트에 의해 발생한 실제 표현의 이동($\ell$)과 우리가 구축한 조향 벡터($\mu$) 사이의 코사인 유사도(Cosine Similarity)를 계산하여, 프롬프팅이 의도된 잠재 방향을 따라 움직이는지 확인합니다.

3. 주요 연구 결과 (Key Results)

6개의 오픈소스 LLM을 대상으로 텍스트 독성 제거(Detoxification) 및 독성 유발(Toxification) 실험을 수행한 결과는 다음과 같습니다.

• 행동적 변화 확인: 프롬프팅은 의도한 대로 독성을 낮추거나 높이는 데 성공했습니다. 특히 독성 제거는 약한 프롬프트로도 가능했으나, 독성 유발은 강한 프롬프트가 필요했습니다. 대부분의 변화는 첫 번째 자기 수정 단계에서 집중적으로 발생했습니다.
• 인과 관계 검증: 조향 벡터를 레이어에 주입했을 때, 모델의 독성 수치가 유의미하게 변화함을 확인했습니다. 이는 추출된 잠재 방향이 모델의 행동을 제어할 수 있는 실질적인 '조향 키'임을 증명합니다.
• 표현 이동과 조향 벡터의 일치: 프롬프트에 의해 유도된 표현의 이동($\ell$)이 구축된 조향 벡터($\mu$)와 높은 코사인 유사도를 보였습니다. 즉, 자기 수정 프롬프트는 모델 내부의 해석 가능한 잠재 방향을 따라 표현을 이동(Representation Steering)시키는 역할을 합니다.

4. 핵심 기여 및 의의 (Key Contributions & Significance)

1. 메커니즘 규명: 내재적 자기 수정이 단순히 확률적인 변화가 아니라, 모델 내부의 해석 가능한 잠재 방향을 따라 표현을 조향(Steering)하는 과정임을 기계론적으로 입증했습니다.
2. 새로운 분석 프레임워크 제안: 프롬프트 유도 이동(Prompt-induced shift)을 통해 모델의 행동 변화를 정량화하고 이를 잠재 방향과 연결하는 분석 방법론을 제시했습니다.
3. 설명 가능한 AI(XAI)로의 확장: 본 연구는 프롬프팅이라는 블랙박스적인 과정을 모델 내부의 선형적 구조로 설명함으로써, LLM의 프롬프트 기반 행동을 이해하고 제어할 수 있는 새로운 경로를 열었습니다. 이는 향후 Chain-of-Thought(CoT)와 같은 복잡한 추론 과정 분석에도 응용될 수 있습니다.

결론적으로, 이 논문은 "프롬프트가 모델을 어떻게 바꾸는가?"라는 질문에 대해 "프롬프트는 모델 내부의 특정 개념적 방향으로 표현을 밀어내는(Steering) 힘으로 작용한다"라는 명확한 기계론적 답변을 제시하고 있습니다.