마술사가 복잡한 트릭을 수행하는 모습을 상상해 보세요. 당신은 최종 결과 (모자 속의 토끼) 를 볼 수 있고, 마술사의 말로 된 설명 ("자, 이제 제가 토끼를 꺼내는 것을 자세히 지켜보세요...") 을 들을 수 있습니다. 하지만 모자 안에서 일어나는 비밀스러운 동작이나 마술사의 내면적 사고 과정은 볼 수 없습니다.

오랫동안 연구자들은 수학 방정식이나 코딩 퍼즐과 같은 어려운 문제를 해결하기 위해 대규모 언어 모델 (LLM) 이 어떻게 "생각"하는지 파악하려고 노력해 왔습니다. 그들은 AI 가 작성한 단어들 (추론 체인) 을 볼 수는 있지만, 컴퓨터의 뇌 내부에서 실제로 일어나는 정신적 작업은 여전히 블랙박스 상태로 남아 있습니다.

"통합 및 교차 아키텍처 LLM 추론 해석 (Integrated and Cross-Architecture Interpretation of LLM Reasoning)"이라는 제목의 이 논문은 그 블랙박스 안을 엿볼 수 있는 새로운 방법을 제안합니다. 레오나르도 매튜 야우 (Leonardo Matthew Yauw), 웨이빈 쿄 (Wei-Bin Kou), 위지우 양 (Yujiu Yang) 이라는 저자들은 단 하나의 단서만으로는 충분하지 않다고 주장합니다. 대신 그들은 다양한 AI 모델이 어떻게 추론하는지 이해하기 위해 IAR(Integrated, Architecture-agnostic Reasoning, 통합 및 아키텍처 무관 추론) 이라는 세 부분으로 구성된 탐정 키트를 개발했습니다.

다음은 그들의 방법이 작동하는 방식을 간단한 비유로 설명한 것입니다:

IAR 탐정 키트의 세 가지 단서

연구자들은 이전의 방법들이 반쪽짜리 증거만 가지고 미스터리를 해결하려는 것과 같다고 깨달았습니다. 그들은 전체 그림을 얻기 위해 세 가지 다른 "프로브 (probe)"를 결합했습니다.

**1. "아하!" 순간 감지기 **(MIP)

• 비유: 강의를 듣고 있다고 상상해 보세요. 대부분의 시간 동안 화자는 공간을 채우는 말만 합니다. 하지만 가끔씩 정답 키와 완벽하게 연결되는 말을 하기도 합니다. 그 특정 단어가 바로 "아하!" 순간입니다.
• 과학적 원리: 팀은 **상호 정보 피크 **(Mutual Information Peak, MIP)라는 도구를 사용합니다. 이 도구는 AI 의 출력을 스캔하여 정답에 대한 정보를 가장 많이 담고 있는 특정 단어 (토큰) 를 찾아냅니다.
• 주의점: 이 도구가 다양한 유형의 AI 모델에서 작동하도록 하기 위해, 카메라 렌즈의 초점을 조절하듯이 도구를 "보정"해야 했습니다. 그래야 일부 모델에서는 흐릿해지거나 다른 모델에서는 너무 날카로워지지 않기 때문입니다.

**2. "깊은 사고" 추적기 **(DTR)

• 비유: 수학 문제를 풀고 있는 학생을 상상해 보세요. 일부 단계는 쉽고 즉시 이루어집니다 (얕은 사고). 다른 단계들은 학생이 무언가를 적기 전에 멈추고 머리를 긁적이며 깊이 생각해야 합니다 (깊은 사고).
• 과학적 원리: 그들은 **깊은 사고 비율 **(Deep-Thinking Ratio, DTR)이라는 도구를 사용합니다. 이는 단어가 최종적으로 선택되기 전에 모델의 레이어 내부에서 얼마나 많은 "계산 작업"이 이루어지는지 측정합니다. 만약 모델이 단어를 선택하기 전에 여러 깊은 레이어를 통해 처리했다면, 그 단어는 "깊은 사고" 토큰입니다.

**3. "일관성" 확인 **(Jaccard 안정성)

• 비유: 학생에게 똑같은 어려운 질문을 세 번 했을 때, 그들이 문제를 풀기 위해 정확히 같은 핵심 단계를 사용할까요? 만약 그렇다면 그들은 개념을 진정으로 이해한 것입니다. 만약 매번 다르게 추측한다면, 그들은 단지 운이 좋은 것일 수 있습니다.
• 과학적 원리: 연구자들은 AI 에게 약간의 변형을 가한 동일한 문제를 세 번 물어봅니다. 그런 다음 1 단계에서 나온 "아하!" 단어들이 매번 같은 위치에 나타나는지 확인합니다. 만약 그렇다면 추론은 안정적이고 진실된 것입니다. 만약 극적으로 변한다면 추론은 우연일 수 있습니다.

주요 발견: 단서들을 결합하기

이 논문에서 가장 흥미로운 발견은 이러한 단서들을 결합했을 때 일어나는 일입니다.

"필터" 효과:
연구자들은 "아하!" 단어 (MIP) 가 거의 항상 "깊은 사고" 단어 (DTR) 의 작고 특별한 부분집합이라는 사실을 발견했습니다.

• 이렇게 생각해보세요: 공장에서 1,000 개의 위젯 (깊은 사고) 을 생산한다고 상상해 보세요. 대부분은 표준 부품일 뿐입니다. 하지만 그중 50 개만이 실제로 기계를 작동시키는 중요한 기어입니다.
• MIP 도구는 1,000 개의 깊은 사고 더미 속에서 그 50 개의 중요한 기어를 찾아내는 필터 역할을 합니다.
• 왜 중요한가: 이전에는 "깊은 사고"가 곧 "좋은 추론"이라고 생각했습니다. 하지만 이 논문은 모델이 열심히 생각한다고 해서 반드시 바르게 생각하는 것은 아니라고 보여줍니다. 올바른 어려운 사고를 찾기 위해서는 "아하!" 필터가 필요합니다.

다양한 모델에 대한 테스트

팀은 한 개의 AI 만이 아닌 세 가지 다른 모델 (Qwen-7B, Qwen-14B, Llama-8B) 에서 이 방법을 테스트했습니다. 또한 수학, 코딩, 논리, 상식이라는 네 가지 유형의 작업에 걸쳐 테스트했습니다.

결과:

1. 보편적 패턴: "필터" 효과 (중요한 "아하!" 단어가 깊은 사고의 작은 부분이라는 것) 는 세 모델 모두에서 동일하게 작동했습니다. 비록 모델들이 서로 다르게 구축되었음에도 불구하고 말입니다. 이는 AI 모델들이 추론하는 보편적인 방식이 있음을 시사합니다.
2. 운 vs 진실: 그들은 문제를 진정으로 해결한 모델과 운 좋게 맞춘 모델을 구별할 수 있었습니다.
   • 진실된 추론: 모델은 몇 가지 매우 구체적인 "아하!" 단어를 찾아내고 일관되게 고수했습니다.
   • 운 좋은 추측: 모델은 많은 "아하!" 단어를 생성했지만, 그것들은 흩어져 있고 일관성이 없으며 다른 시도들 간에 일치하지 않았습니다.
3. "침묵하는" 실패: 때로는 모델이 정답을 틀리더라도 추론 체인을 생성합니다. 팀은 이러한 경우 "아하!" 단어가 없거나 불안정하다는 사실을 발견했습니다.

이것이 의미하는 것 (그리고 의미하지 않는 것)

이 논문이 주장하는 것:

• 이제 우리는 특정 단어와 모델이 그 단어에 대해 얼마나 깊이 생각하는지 살펴봄으로써 AI 모델이 어디서 그리고 어떻게 추론하는지 볼 수 있습니다.
• 이 방법은 특정 브랜드가 아닌 다양한 유형의 AI 모델에서 작동합니다.
• 우리는 문제를 진정으로 이해하는 모델과 단순히 추측하거나 환각을 경험하는 모델을 구별할 수 있습니다.

이 논문이 주장하지 않는 것:

• 이것이 미래에 AI 를 더 똑똑하게 만들 것이라고 말하지는 않습니다.
• 이것이 인간의 정신 건강이나 임상적 문제를 진단하는 데 사용될 수 있다고 주장하지는 않습니다.
• 이제 AI 의 추론 오류를 즉시 "수정"할 수 있다고 약속하지는 않습니다. 단지 그것들을 더 잘 볼 수 있는 방법을 제공할 뿐입니다.

요약

이 논문을 새로운 안경의 발명으로 생각해보세요. 이전에는 AI 가 수학 문제를 풀고 있을 때 단어들의 흐릿한 뭉치만 보였습니다. 하지만 이 새로운 안경 (IAR 프레임워크) 을 통해 우리는 AI 가 실제 작업을 수행하는 구체적인 순간들을 명확하게 볼 수 있게 되었습니다. 또한 천재적인 통찰과 운 좋은 추측을 구별할 수 있게 되었고, 이러한 "사고 방식"이 해당 기계들이 어떤 브랜드이든 간에 작동하는 방식의 근본적인 부분임을 확인할 수 있게 되었습니다.