기술 요약: LLM 은닉 상태에서의 코드 정확성 신호

문제 정의

본 연구는 대규모 언어 모델(LLM)의 은닉 상태(hidden states) 내에 존재하는 코드 정확성의 판독 가능성을 조사하며, 특히 Qwen3-4B-Instruct-2507 모델에 초점을 맞춥니다. 본 연구는 444 LiveCodeBench 태스크의 코드 생성과 관련하여 두 가지 구별되는 시간적 질문을 다룹니다:

1. 생성 전(Pre-Generation): 모델의 첫 번째 시도 코드가 생성되기 전, 즉 마지막 프롬프트 토큰의 은닉 상태에서 이미 코드의 정확성을 디코딩할 수 있는가?
2. 수정 기하학(Repair Geometry): 모델이 실패한 코드 생성을 수정하려고 시도할 때, 실패한 시도와 수정 시도 사이의 은닉 상태 변화량(delta)이 수정 성공 여부에 대한 안정적이고 고립 가능한 기하학적 시그니처를 지니는가?

본 연구는 선형 프로브(linear probes)와 대비적 방향 분석(contrastive direction analysis)을 활용하여, 내부 표현이 코드 정확성이나 수정 성공과 같은 검증 가능한 속성을 인코딩하는지 결정하는 기계론적 해석 가능성(mechanistic interpretability) 프레임워크 내에서 작동합니다.

방법론

모델 및 데이터

• 모델: Qwen/Qwen3-4B-Instruct-2507 (36개 레이어의 디코더 전용 트랜스포머, 2560차원 은닉 상태).
• 데이터셋: 444 LiveCodeBench 태스크 (easy, medium, hard).
• 하드웨어: 단일 NVIDIA RTX 4050 (6 GB VRAM).
• 데이터 캡처: 생성 전 분석을 위해 단일 순전파(forward pass)의 마지막 프로프트 토큰으로부터 은닉 상태를 추출합니다. 수정 분석을 위해, 첫 번째 시도(attempt 0)와 후속 수정 시도(attempt 1)에 대한 은닉 상태를 캡처합니다.

핵심 기술: 잔차화(Residualization)

본 논문은 주요 혼란 변수 통제 도구로 잔차화를 채택합니다. 이는 다음 과정을 포함합니다:

1. 각 은닉 상태 차원에 대해 후보 공변량(예: 프롬프트 길이, 수정 컨텍스트 특징)에 대한 최소제곱 회귀(OLS)를 적합시킵니다.
2. 해당 공변량의 선형적 기여를 제거하기 위해 적합된 예측값을 은닉 상태 차원에서 뺍니다.
3. 잔차화된 데이터에 대해 신호(프로브 성능 또는 기하학적 방향)를 재평가합니다.

이 접근 방식은 모델의 고유한 표현과 입력 구조 또는 컨텍스트 차이의 산물인 신호를 구분하는 데 사용됩니다.

실험 파이프라인

1. 생성 전 프로브 (섹션 3):

   • 프롬프트 최종 은닉 상태로부터 pass/fail 라벨을 예측하도록 학습된 선형 프로브(StandardScaler $\to$ PCA $\to$ Logistic Regression)를 사용합니다.
   • 레이어 선택: 테스트 세트 누수(leakage)를 방지하기 위해 중첩 교차 검증(nested cross-validation, 50개 외부 분할, 5-fold 내부 CV)을 사용하여 최적의 레이어와 규제 강도($C$)를 선택합니다.
   • 베이스라인: 원시 은닉 상태, 잔차화된 은닉 상태(프롬프트 길이 제거), 그리고 프롬프트 길이 전용 베이스라인과 비교합니다.

2. 수정 방향 분석 (섹션 4):

   • 델타 구성: attempt 0이 실패하고 attempt 1이 존재하는 태스크에 대해, 은닉 상태 델타를 $\delta = h_{\text{attempt 1}} - h_{\text{attempt 0}}$로 정의합니다.
   • 대비적 방향: 벡터 $v = \text{mean}(\delta_{\text{success}}) - \text{mean}(\delta_{\text{failure}})$를 계산합니다.
   • 검증: $v$에 대해 두 가지 테스트를 적용합니다:
     • 크기(Magnitude): 라벨을 섞은 null 모델과 비교한 $v$의 노름(norm).
     • 기울기(Inclination): 두 데이터 절반에서 회복된 방향 간의 분할-절반 코사인 유사도(split-half cosine similarity).
   • 공변량 체크: 잔차화를 수행하기 전, 통계적 검정(Welch's t-test, Chi-squared)을 통해 공변량이 성공/실패 그룹 간에 차이가 있는지 확인합니다. 잔차화는 그룹 간 유의미한 차이를 보이는 공변량에 대해서만 적용됩니다.
   • 공변량: $\Delta$prompt_tokens, code_length_attempt_0, failure_type.

주요 결과

1. 생성 전 정확성은 선형적으로 디코딩 가능하다

• 원시 신호: 프롬프트 최종 은닉 상태로 학습된 선형 프로브(중첩 CV를 통해 Layer 29 선택)는 50개 무작위 분할에 대해 누수 없는 AUC 0.931 ± 0.008을 달성했습니다.
• 프롬프트 길이에 대한 강건성: 프롬프트 길이에 대해 은닉 상태 차원을 잔차화한 후에도 프로브 성능은 0.911 ± 0.010으로 높게 유지되었습니다.
• 베이스라인 비교: 프롬프트 길이 전용 베이스라인은 0.754 ± 0.014의 AUC를 달성했습니다. 프롬프트 길이만으로 학습된 비선형 모델(Random Forest, Gradient Boosting, MLP)은 이 베이스라인을 초과하지 못했습니다.
• 결론: 은닉 상태에는 단 하나의 출력 토큰이 생성되기 전부터 존재하는, 강건하고 프롬프트 길이로 환원되지 않는 정확성 신호가 포함되어 있습니다.

2. 수정 방향은 고립된 특징이 아닌 컨텍스트 상관관계이다

• 원시 신호: 원시 델타(236개의 깨끗한 전이: 128개 성공, 108개 실패)에서 대비적 방향이 존재합니다. 이는 라벨을 섞은 null 모델에 대해 크기($p < 0.001$)와 분할-절반 코사인($p < 0.001$) 테스트를 모두 통과했습니다.
• 공변량 불균형: 통계 검정 결과, 성공 그룹과 실패 그룹은 $\Delta$prompt_tokens, 초기 코드 길이, 실패 유형 분포에서 유의미한 차이를 보였습니다 ($p < 0.001$ 모두).
• 잔차화 효과: 이 세 가지 공변량에 대해 델타를 잔차화했을 때:
  • 방향의 크기가 9.76에서 3.72로 감소했습니다 (원래의 38%).
  • 분할-절반 코사인이 0.767에서 0.140으로 감소했습니다.
  • 두 테스트 모두 통계적 유의성을 잃었습니다 (Magnitude $p=0.126$, Split-half $p=0.942$).
• 결론: 원시 델타에서 관찰된 기하학적 방향은 은닉 공간 내의 고립된 "수정 이해" 특징이 아니라, 수정 컨텍스트의 구조(예: 특정 에러 메시지 및 코드 길이 차이)에 의해 유도된 수정 성공의 상관관계입니다.

3. 다단계 수정에 대한 한계

• 본 연구는 첫 번째 수정 시도 이후(Attempt 1: 36.4%, Attempt 2: 6.7%) 패스율이 급격히 무너진다는 것을 발견했습니다.
• $0 \to 1$ 전이(예: $1 \to 2$)에 대한 데이터는 너무 희소하여(성공 사례 13개뿐) 의미 있는 대비적 방향 분석을 지원하기 어렵습니다.

기여 및 의의

본 논문은 그 기여가 경험적 연구만큼이나 방법론적이라고 주장합니다:

1. 진단적 정직성: 본 연구는 단일한 혼란 제어 절차(잔차화)가 두 가지 상반된 방향으로 어떻게 유용하게 쓰이는지 보여줍니다.
   • 생성 전 사례에서, 잔차화는 주요 혼란 변수(프롬프트 길이)를 제거한 후에도 신호가 유지됨을 보여줌으로써 주장을 지지합니다.
   • 수정 사례에서, 동일한 절차가 초기 해석을 뒤집음으로써, 신호가 컨텍스트 공변량을 제거했을 때 붕괴됨을 보여줍니다.
2. 방법론적 엄밀성: 본 연구는 잔차화 전 공변량 분포를 확인하는 것의 필요성을 강조합니다. 저자들은 그룹 평균이 동일한 공변량에 대해 잔차화를 하는 것은 불필요하고 오해의 소지가 있는 반면, 평균이 다른 공변량에 대해 잔차화를 하는 것은 잠재적 특징을 격리하는 데 필수적이라고 주장합니다.
3. 경험적 발견:
   • 코드 정확성이 생성이 시작되기 전 은닉 상태에 인코딩되어 있음을 확인했습니다.
   • 원시 은닉 상태 변화에서 안정적이고 고립된 "수정 성공" 기하학적 방향이 존재한다는 가설을 반박하며, 관찰된 신호를 수정 시도의 서로 다른 컨텍스트 탓으로 돌렸습니다.

본 논문은 LLM이 코드 정확성에 대한 풍부한 정보를 인코딩하고 있지만, 은닉 상태의 기하학적 변화를 해석할 때는 겉으로 보이는 "특징"이 단순히 프롬프트 구조의 반영일 수 있으므로 입력 컨텍스트와의 신중한 분리가 필요하다고 결론짓습니다.