Intention Collapse: Intention-Level Metrics for Reasoning in Language Models

연설을 하려고 한다고 상상해 보세요. 입을 열기 전, 당신의 뇌는 기억, 반쯤 형성된 논증, 감정, 그리고 잠재적인 단어 선택들이 뒤섞인 혼란스러운 폭풍으로 가득 차 있습니다. 이는 풍부하고 지저분하며 고차원적인 '의도'의 구름입니다.

하지만 당신이 마침내 말을 할 때, 당신은 그 구름 전체를 방출하지 않습니다. 당신은 하나의 구체적인 문장을 선택합니다. 당신은 그 거대한 내부 폭풍을 단일한 선형적인 단어 문자열로 축소시킵니다.

이 논문은 대규모 언어 모델(LLM)이 정확히 동일한 일을 한다고 주장합니다. 저자들은 이 과정을 **'의도 붕괴(Intention Collapse)'**라고 부릅니다.

다음은 단순한 비유를 사용하여 그들이 발견한 내용을 정리한 것입니다.

1. 핵심 아이디어: '연설 전' 순간

대부분의 사람들은 AI의 답변을 보고 최종 단어에 따라 판단합니다. 하지만 이 논문은 AI가 아주 첫 번째 단어를 선택하기 직전, AI의 '뇌' 내부에서 일어나는 일을 살펴봐야 한다고 말합니다.

이를 사진가가 사진을 찍는 것에 비유해 보세요.

• 장면: 복잡하고 3차원적인 세계(AI의 내부 상태).
• 사진: 평평하고 2차원적인 이미지(텍스트 출력).
• 붕괴: 셔터가 클릭되는 순간. 정보가 손실됩니다. 3차원 깊이가 2차원 픽셀로 평면화됩니다.

저자들은 '장면'(내부 상태)을 측정하여 '사진'(답변)이 좋을지 나쁠지 예측할 수 있는지, 그리고 다양한 프롬프팅 기법이 그 장면을 어떻게 변화시키는지 확인하고 싶었습니다.

2. AI의 마음을 위한 세 가지 '건강 검진'

이 내부 상태를 측정하기 위해 저자들은 세 가지 간단한 지표를 만들었습니다. 이것들을 AI 의도의 생체 신호라고 생각하세요.

1. 의도 엔트로피(엔트로피, '혼란' 측정기):

   • 비유: 교차로에 서 있다고 상상해 보세요. 어느 방향으로 가야 할지 정확히 알고 있다면 당신의 '엔트로피'는 낮습니다. 어느 쪽으로 갈지 전혀 모르고 왼쪽, 오른쪽, 직진할 확률이 모두 같다면 엔트로피는 높습니다.
   • AI에서: 이는 다음 단어에 대한 AI의 확률이 얼마나 퍼져 있는지를 측정합니다. 엔트로피가 낮다는 것은 매우 확신한다는 뜻이고, 높다는 것은 불확실하거나 많은 옵션을 고려 중임을 의미합니다.

2. 유효 차원성(차원성, '풍부함' 측정기):

   • 비유: 그림을 상상해 보세요. 단순한 스틱 피규어(낮은 차원성)입니까, 아니면 여러 층위의 의미를 가진 복잡하고 상세한 풍경화(높은 차원성)입니까?
   • AI에서: 이는 AI의 내부 사고가 얼마나 많은 '공간'을 사용하고 있는지를 측정합니다. 그 사고가 단순하고 좁은가요, 아니면 복잡하고 다면적인가요?

3. 복원 가능성(복원성, '숨겨진 지식' 측정기):

   • 비유: 수학 문제의 답은 알고 있지만 긴장해서 잘못된 숫자를 적어 내린 학생을 상상해 보세요. 만약 그의 머릿속을 들여다볼 수 있다면, 그가 그 답을 알고 있었다는 것을 볼 수 있을 것입니다.
   • AI에서: 연구자들은 AI의 내부 상태를 관찰하고 최종 답변이 맞을지 맞지 않을지 추측하는 간단한 '탐침'(미니 감지기)을 훈련시켰습니다. 탐침이 올바르게 추측할 수 있다면, AI가 적어 내지 못했더라도 내부적으로 올바른 정보를 가지고 있었다는 뜻입니다.

3. 실험: '사고의 사슬(Chain-of-Thought)' 테스트

'사고의 사슬(CoT)'은 AI에게 "답하기 전에 단계별로 생각하라"고 지시하는 인기 있는 트릭입니다. 모두 이것이 AI를 더 똑똑하게 만든다고 가정합니다. 연구자들은 세 가지 유형의 작업(수학, 추상적 추론, 수학 단원 문제)에 걸쳐 세 가지 다른 AI 모델(Mistral, LLaMA, Qwen)에서 이를 테스트했습니다.

그들은 세 가지 조건을 비교했습니다.

1. 기준선(Baseline): 답만 제시.
2. CoT: 단계별로 생각.
3. babble(수다): 길고 산만한 의식의 흐름을 작성(단순히 더 많이 쓰는 것이 도움이 되는지, 아니면 생각하는 것이 도움이 되는지 확인하기 위함).

4. 놀라운 발견들

발견 1: '단계별로 생각하기'가 항상 더 좋은 것은 아닙니다.

• 수학(자유 응답형): CoT가 매우 잘 작동했습니다. 정확도가 크게 향상되었습니다.
• 추상적 추론(객관식): CoT는 실제로 상황을 더 악화시켰습니다. AI는 직접적인 답을 내는 것보다 '소리 내어 생각하도록' 강요되었을 때 더 나쁜 성능을 보였습니다.
• 요점: AI에게 추론 과정을 언어화하도록 강요하는 것은 때때로, 특히 옵션 목록(A, B, C, D)에서 선택해야 할 때 혼란을 초래할 수 있습니다.

발견 2: 다른 AI들은 다르게 '생각'합니다.
CoT를 사용할 때, 내부 '혼란'(엔트로피)은 모델마다 다르게 변화했습니다.

• Mistral: 더 확신하게 되었습니다(엔트로피 감소). 초점을 좁혔습니다.
• LLaMA: 덜 확신하게 되었습니다(엔트로피 증가). 가능성을 열어두었습니다.
• 요점: AI 내부에서 '추론'이 보이는 단일한 방식은 없습니다. 한 모델의 '생각'은 다른 모델의 '혼란'처럼 보일 수 있습니다.

발견 3: AI는 답을 알고 있지만 말하지 못할 수 있습니다.
이 부분이 가장 흥미롭습니다. 일부 경우(예: 추상적 추론 작업에서의 Qwen)에서 AI의 내부 상태는 높은 복원 가능성을 보였습니다. '탐침'은 AI가 올바른 답을 알고 있었다는 것을 쉽게 확인할 수 있었습니다. 그러나 AI의 최종 작성된 답은 틀렸습니다.

• 비유: 이는 도로를 완벽하게 알고 있는 운전자(높은 내부 지식)가 마지막 순간 실수로 잘못된 방향으로 핸들을 돌리는(붕괴 실패) 것과 같습니다.
• 요점: 문제가 항상 AI의 지식 부족 때문은 아닙니다. 때때로 문제는 '붕괴'에 있습니다. 즉, 그 지식을 특정 형식(예: 객관식 문자)으로 변환하는 최종 단계에서 오류가 발생합니다.

발견 4: 수다는 생각이 아닙니다.
'Babble' 통제군(단순히 많은 무의미한 내용을 작성)은 CoT와 동일한 내부 변화를 일으키지 않았습니다. 이는 CoT가 출력을 더 길게 만드는 것뿐만 아니라, 실제로 AI 사고의 내부 구조를 변화시킨다는 것을 증명합니다.

요약

이 논문은 AI 답변을 단순히 '맞음' 또는 '틀림'으로만 보지 말아야 한다고 제안합니다. 대신, AI가 말하기로 결정하는 순간인 의도 붕괴를 살펴봐야 합니다.

• 때때로, AI에게 '소리 내어 생각하도록' 요청하는 것은 집중을 돕습니다(엔트로피 감소).
• 때때로, 이는 과도한 생각과 혼란을 초래합니다(엔트로피 증가).
• 때때로, AI는 내부적으로 진실을 알고 있지만 요구된 형식으로 올바르게 표현하지 못합니다.

'연설 전' 상태를 측정함으로써, 우리는 AI가 왜 실패했는지 단순히 실패했음을 아는 것보다 더 잘 이해할 수 있습니다.