기술적 요약: 대규모 언어 모델은 정답 위치를 계획하는가?

문제 제기

대규모 언어 모델(LLM) 과 비전 - 언어 모델(VLM) 은 교육 평가, 독해, 시각적 질문 응답을 위한 객관식 문제 (MCQ) 생성에 점점 더 많이 활용되고 있습니다. 이상적으로 생성된 객관식 문제의 정답은 편향 없는 평가를 보장하기 위해 보기 (A, B, C, D) 간에 균일하게 분포되어야 합니다. 그러나 경험적 관찰에 따르면 이러한 모델들은 체계적인 위치 편향을 보이며, 특정 정답 위치 (예: 보기 A 에 대한 '선두 편향' 또는 B/C 에 대한 '중앙 편향') 를 불균형적으로 선호합니다.

이전 연구는 LLM 이 추론 단계에서 (정답을 선택할 때 특정 보기 식별자를 선호하는) 선택 편향을 겪는다는 것을 확립했지만, 생성 과정 자체에서 유사한 편향이 발생하는지는 여전히 불분명합니다. 구체적으로 LLM 이 객관식 문제를 구성할 때 일관된 위치 선호도를 보이는지, 그리고 이러한 선호도가 보기를 생성하기 전에 정답 위치를 암묵적으로 '계획'하는 내재적 표현에 의해 주도되는지는 알려지지 않았습니다.

방법론

저자들은 위치 편향, 그 기저 메커니즘, 그리고 잠재적 제어 가능성을 조사하기 위해 세 가지 구성 요소로 이루어진 프레임워크를 제안합니다:

1. 통제된 객관식 문제 생성 작업:
   이 연구는 세 가지 다른 생성 시나리오에서 10 개의 LLM 과 5 개의 VLM 을 평가합니다:

   • 지식 기반 객관식 문제 (K-MCQ): 수학, 화학, 역사, 지리, 생물학 등 다섯 가지 학문 분야에 대한 문제 생성.
   • 독해 객관식 문제 (RC-MCQ): 뉴스 기사를 기반으로 한 문제 생성.
   • 비전 - 언어 객관식 문제 (VL-MCQ): COCO 데이터셋 설명에서 파생된 추상 이미지를 기반으로 한 문제 생성.
     저자들은 출력 형식 (보기 A–D) 을 표준화하고 관찰된 편향이 작업의 인공물이 아닌 모델에서 비롯되도록 정답을 명시적으로 지정합니다.

2. 암묵적 계획 탐지:
   정답 위치가 생성 중에 인코딩되는지 확인하기 위해, 저자들은 질문 지문의 토큰 수준 은닉 표현에 대해 경량의 분류기 (MLP 프로브) 를 훈련시킵니다. 목표는 보기가 생성되기 전에 지문의 은닉 상태 ($H^{(l)}_x$) 에서 최종 정답 위치 ($y \in \{1, \dots, K\}$) 를 예측하는 것입니다. 이는 모델이 보기를 생성하기 전에 암묵적인 전향적 계획을 수행한다는 가설을 검증합니다.

3. 활성화 조종 (개입):
   내재적 표현과 정답 위치 간의 인과적 관계를 확립하기 위해, 저자들은 디코딩 시점에 활성화를 조종합니다. 두 가지 방법을 사용하여 조종 벡터를 구성합니다:

   • 평균 차이: 소스 위치 (예: A) 와 관련된 평균 은닉 상태와 타겟 위치 (예: B) 와 관련된 평균 은닉 상태 간의 벡터 차이를 계산합니다.
   • 분류기 기반: 소스 위치와 타겟 위치를 구분하도록 훈련된 로지스틱 회귀 분류기의 가중치 벡터를 사용합니다.
     이러한 벡터들은 생성 궤적을 조작하기 위해 특정 층과 토큰 위치 (예: 지문의 penultimate 토큰) 에 은닉 상태에 추가됩니다.

주요 결과

1. 체계적 위치 편향

세 가지 작업 전반과 다양한 모델 계열 (Llama, Qwen, DeepSeek, Gemini 포함) 에서 모델들은 구조화된 위치 편향을 보입니다.

• 모델별 패턴: Llama 모델은 일관되게 보기 "A"를 선호하는 반면 (선두 편향), Qwen 과 DeepSeek 변형은 종종 "B"를 선호하며, Gemini 모델은 "B"와 "C"로 향하는 경향을 보입니다.
• 과소 표현: 보기 "D"는 거의 모든 모델에서 체계적으로 과소 표현됩니다.
• 식별자 영향: 명시적인 보기 식별자 (A/B/C/D) 를 제거해도 편향이 사라지지 않으며, 오히려 첫 번째 위치에 대한 선호도가 종종 심화됩니다. 이는 식별자가 단서를 제공하지만 편향이 내재적 순서 선호에 의해서도 주도됨을 시사합니다.

2. 암묵적 계획의 증거

탐지 실험은 질문 지문의 은닉 표현이 정답 위치의 예측 신호를 인코딩하고 있음을 보여줍니다.

• 예측 가능성: 지문 표현에 기반하여 훈련된 분류기는 무작위 및 다수 기반선보다 훨씬 높은 매크로 F1 점수를 달성하여, 정답 위치 정보가 생성 과정 초기에 인코딩됨을 나타냅니다.
• 층별 출현: 예측 신호는 최종 층에 국한되지 않고 많은 층에 걸쳐 분포되어 있습니다. 일부 모델 (예: Qwen3-30B-Thinking) 에서는 중간 층 (24–36) 에서 강력한 신호가 나타납니다.
• 토큰 위치: 예측 성능은 일반적으로 지문의 후기 토큰, 특히 마지막 토큰에서 더 높습니다. 이는 문맥 통합이 깊어질수록 위치 정보가 더 접근 가능해짐을 시사합니다.

3. 활성화를 통한 제어 가능성

개입 실험은 정답 위치를 인과적으로 조작할 수 있음을 보여줍니다.

• 효과성: 소스 위치 (A) 에서 타겟 위치 (B) 로 은닉 상태를 조종하면 생성된 정답의 분포가 성공적으로 이동합니다.
• 최적 주입: 질문 지문의 penultimate 토큰에 적용된 개입은 종종 구두점인 마지막 토큰에 적용된 개입보다 더 강력하고 안정적인 효과를 냅니다.
• 층 민감도: 평균 차이 방법은 중간 층 (예: 11–15 층) 에서 최대 효과를 보이며, 22% 이상 (A→B) 의 이동을 달성합니다.
• 트레이드오프: 조종은 타겟 위치를 이동시킬 수 있지만 트레이드오프를 초래합니다. 개입은 '타겟 이탈' 이동 (예: A→C/D) 을 초래할 수 있으며, 일부 경우 새로운 위치를 수용하기 위해 질문 의미나 보기 공간이 변경되는 의미적 비일관성이 발생할 수 있습니다.

4. 완화 전략

• 프롬프트: 정답 분포를 '균형 잡기' 위한 명시적 지시를 추가하면 편향이 감소합니다. 특히 더 크거나 추론 중심인 모델 (예: DeepSeek-Reasoner, Gemini-3-Pro) 에서 두드러집니다. 그러나 더 작은 모델들은 이러한 전역적 분포 제약을 따르는 데 어려움을 겪으며, 편향이 완전히 제거되지는 않습니다.

중요성과 주장

이 논문은 LLM 의 암묵적 위치 계획을 연구하기 위한 실용적 프레임워크를 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 경험적 증거: 객관식 문제 생성에서의 위치 편향이 체계적이며 모델별 특성을 가지며, 명시적 보기 식별자가 없어도 지속됨을 입증합니다.
2. 메커니즘적 통찰: 정답 위치가 단순한 우연이 아니라 모델의 은닉 표현에 인코딩된 암묵적 계획 전략의 일부일 가능성이 있음을 보여주는 증거를 제공합니다. 질문 지문에서 정답 위치를 예측할 수 있다는 것은 모델이 보기를 생성하기 전에 위치를 '결정'함을 시사합니다.
3. 인과적 조작: 내재적 표현을 조종하여 정답 위치에 영향을 줄 수 있음을 확립함으로써, 잠재적 계획 신호와 출력 분포 간의 인과적 연결을 확인합니다.
4. 신뢰성 함의: 신뢰할 수 있는 객관식 문제 구성은 프롬프트 엔지니어링 이상을 요구하며, 편향 없는 평가 도구를 보장하기 위해 생성의 내재적 역학을 이해하고 잠재적으로 제어해야 함을 강조합니다.

저자들은 "계획과 유사한 메커니즘"을 시사하지만 명시적 기호적 계획에 대한 결정적 증거는 아니라고 언급하며 겸손한 입장을 유지합니다. 또한 개입 효과성이 주입 위치에 의존한다는 점과 위치 강요 시 의미적 비일관성이 발생할 수 있다는 점과 같은 한계점도 인정합니다.