What's the plan? Metrics for implicit planning in LLMs and their application to rhyme generation and question answering

기술 요약: "LLM 의 암시적 계획에 대한 지표 및 운율 생성과 질문 답변에의 적용"

문제 제기
대규모 언어 모델 (LLM) 은 다음 토큰 예측으로 훈련되지만, 이들이 숨겨진 활성화 상태에 미래 목표를 표현하여 중간 생성을 조건 짓는 '암시적 계획 (implicit planning)' 능력을 보이는지에 대한 논쟁이 커지고 있습니다. Lindsey 등 (2025) 이 크로스 레이어 트랜스코더를 사용하여 Claude 3.5 Haiku 에 대해 수행한 연구와 같은 이전 증거들은 모델이 운율 단어를 미리 계획할 수 있음을 시사했습니다. 그러나 이러한 발견은 단일 폐쇄형 소스 모델로 제한되었으며, 계산 비용이 많이 들고 재현하기 어려운 방법에 의존했습니다. 또한, 일정한 시간 토큰 생성이 원칙적인 추론을 배제한다는 주장과 함께 LLM 의 일반적인 계획 능력에 대한 회의론이 여전히 존재합니다. 본 논문은 암시적 계획이 다양한 모델 계열과 규모에 걸쳐 존재하는 보편적 메커니즘인지 규명하고, 이를 평가할 수 있는 확장 가능하고 정량적인 방법을 개발하는 것을 목표로 합니다.

방법론
저자들은 복잡한 딕셔너리 학습이나 크로스 레이어 트랜스코더 없이 암시적 전방 및 후방 계획을 탐지하고 정량화하기 위한 일련의 더 간단하고 확장 가능한 기법을 제안합니다. 이 방법론은 입력 시퀀스의 특정 위치에 적용되는 평균 활성화 차이 조향 (mean activation difference steering) (Arditi 등, 2024) 에 의존합니다.

1. 계획의 정의:

   • 전방 계획 (Forward Planning): 미래 목표 토큰의 속성을 인코딩하는 표현을 이전 위치에서 생성하는 것.
   • 후방 계획 (Backward Planning): 목표에 도달하기까지의 중간 토큰 생성을 조건 짓기 위해 이러한 표현을 사용하는 것.
   • 암시적 계획 (Implicit Planning): 체인 오브 씽킹 (Chain of Thought) 과 같은 명시적 출력 대신 숨겨진 활성화 내에 표현이 존재하는 것.

2. 실험 과제:

   • 운율 생성 (Rhyme Generation): 모델에 연 (couplet) 을 완성하도록 프롬프트를 제공합니다. 목표는 첫 번째 줄을 기반으로 두 번째 줄의 운율 계열을 예측하는 것입니다.
   • 질문 답변 (QA): 모델이 명사 대상이 문법적 관사 ("a" 대 "an") 를 결정하는 질문에 답하도록 합니다. 목표는 명사 답변을 예측하는 것입니다.

3. 조향 절차:

   • 벡터 추정: 조향 벡터는 특정 위치 (예: 첫 번째 줄의 마지막 단어, 새 줄 토큰, 또는 물음표) 에서 두 카테고리 (예: "-ight"로 끝나는 줄 대 "-ake"로 끝나는 줄) 간의 숨겨진 활성화 평균 차이로 계산됩니다.
   • 개입: 생성 중 조향 벡터가 선택된 위치와 레이어의 잔여 스트림에 추가됩니다.
   • 지표:
     • 전방 계획: 조향된 생성물에서 "올바른 운율 계열/답변의 비율"로 측정됩니다.
     • 후방 계획: "재생성 지표"로 측정됩니다. 모델은 원래 문맥 없이 생성된 줄의 마지막 단어를 재생성하도록 요청받습니다. 모델이 성공적으로 후방 계획을 세웠다면, 재생성된 단어는 여전히 의도된 운율/답변 계열과 일치해야 합니다.
     • 확률 지표: 조향으로 인한 확률 분포의 변화를 탐지하기 위해 중간 단계에서 KL 발산 및 상위 1 개 토큰 이동에 대한 분석을 수행합니다.

4. 데이터셋 및 모델:

   • 데이터셋: 10 개 운율 계열을 위한 1,050 개의 줄과 20 개의 명사 쌍 (모음/자음으로 시작하는 명사 구분) 을 위한 500 개의 질문.
   • 모델: 1B 에서 32B 파라미터까지의 4 개 계열 (Gemma2, Gemma3, Qwen3, Llama3.1/3.2) 에 걸쳐 있는 23 개의 오픈 가중치 모델로, 기본 버전과 지시 미세 조정 (instruction-tuned) 버전 모두 포함됩니다.

주요 결과

• 암시적 계획의 보편성: 1B 파라미터 규모의 모델까지 포함된 모든 23 개 모델에서 성공적인 전방 및 후방 계획의 증거가 발견되었습니다. 이는 계획이 거대 모델에 국한되지 않는 보편적 메커니즘임을 시사합니다.
• 조향의 효과성:
  • 첫 번째 줄의 끝 (마지막 단어 또는 새 줄 토큰) 에서의 조향은 두 번째 줄에서 생성된 운율 계열을 성공적으로 변경했습니다.
  • QA 과제에서 명사 답변이 생성되기 전에 조향이 관사 선택 ("a" 대 "an") 을 성공적으로 전환시켜 후방 계획을 확인했습니다.
  • 지시 미세 조정 모델은 기본 버전 모델에 비해 일반적으로 더 강력한 계획 행동과 더 높은 조향 효과성을 보였습니다.
• 후방 계획 검증: 재생성 지표는 원래 문맥이 제거되었을 때도 조향 하에 생성된 줄이 목표 운율/답변으로 완성될 가능성이 더 높았음을 보여주었습니다. 이는 계획 표현이 최종 출력뿐만 아니라 중간 토큰에도 영향을 미쳤음을 나타냅니다.
• 회로 분석 (Gemma2 9B): 저자들은 조향 방향을 읽으며 첫 번째 줄의 마지막 단어와 새 줄 토큰에 주의를 기울이는 특정 어텐션 헤드 (L30H3 및 L31H15) 를 식별했습니다. 이러한 헤드를 조향된 활성화로 패치 (patching) 한 결과 조향 효과의 59~93% 가 회복되어 운율 계획을 위한 전용 회로가 있음을 시사했습니다.
• 모델 간 차이: 메커니즘은 보편적이지만 구체적인 구현은 다릅니다. 예를 들어, Gemma2 9B 와 Gemma3 27B 는 계획에 새 줄 토큰을 사용하는 반면, Llama 모델은 주로 마지막 단어 토큰에 의존합니다.

의의 및 주장
본 논문은 암시적 계획이 1B 파라미터를 가진 모델에서도 존재하는 LLM 의 보편적 특징임을 보여주는 첫 번째 광범위한 정량적 증거를 제공한다고 주장합니다. 비용이 많이 드는 훈련 없이 많은 모델에 걸쳐 쉽게 확장 가능한 방법론을 도입함으로써, 저자들은 이러한 능력을 연구할 수 있는 직접적인 방법을 제시합니다.

저자들은 그들의 발견이 LLM 이 순수한 반응적 토큰 예측이 아니라 인간과 유사한 휴리스틱 계획을 수행한다는 견해를 지지한다고 강조합니다. 그들은 이러한 계획 회로를 이해하는 것이 AI 안전과 통제에 중요하다고 주장합니다. 왜냐하면 암시적 계획을 통해 모델이 특정하고 잠재적으로 숨겨진 목표를 달성하기 위해 중간 단계를 조작할 수 있기 때문입니다. 본 연구는 특정 회로가 모델과 과제 (운율 대 QA) 간에 다르지만, 미래 목표를 표현하고 이에 따라 행동하는 능력은 아키텍처의 일반적인 속성이라고 결론지었습니다.

한계 및 향후 방향
저자들은 특정 단어 조향 (예: 운율 계열 대신 "토끼"와 같은 특정 단어를 강제하는 것) 은 계열 수준 조향보다 효과가 적다고 지적하며, 이는 특정 단어 계획에는 더 큰 모델이 필요할 수 있음을 시사합니다. 또한 Gemma2 9B 외의 모델에서 계획 회로의 정확한 본질은 여전히 열린 질문으로 남아 있음을 인정합니다. 제안된 방법론은 지시 따르기 및 체인 오브 씽킹 추론과 같은 다른 영역에서의 계획에 대한 추가 분석의 기초로 제안됩니다.