Think-Aloud Reshapes Automated Cognitive Model Discovery Beyond Behavior

본 논문은 사고 발화 기록을 자동화된 인지 모델 발견에 통합하면 예측 성능이 크게 향상되고 식별된 모델 구조가 보다 통합된 효용 메커니즘을 지향하게 되어 행동 데이터만으로는 재구성할 수 없는 인지 과정을 드러낸다는 것을 보여준다.

핵심

친구가 저녁 메뉴를 어떻게 결정하는지 파악하려 한다고 상상해 보세요. 그 사람의 과정을 알아내는 두 가지 방법이 있습니다:

1. "무엇" (행동): 그들이 주문하는 모습을 지켜봅니다. 그들이 피자를 선택합니다. 당신은 결과를 봅니다.
2. "어떻게" (생각 소리 내기): 결정을 내리는 동안 생각들을 말하도록 요청합니다. 그들은 말합니다, "흠, 배고픈데 피자는 너무 무겁군. 아마도 먼저 칼로리를 확인한 다음 가격을 비교해 봐야겠어."

오랫동안 인간의 사고를 컴퓨터 모델로 구축하려던 과학자들은 오직 **"무엇"**에만 접근할 수 있었습니다. 그들은 사람들이 선택을 하는 모습 (위험한 도박을 선택하거나 안전한 것을 선택하는 등) 을 관찰하고, 그 뒤의 수학을 역으로 추론하려 했습니다.

문제는 "무엇"이 종종 안개 낀 거울이라는 점입니다. 서로 다른 많은 내부 수학 공식이 정확히 동일한 최종 선택을 만들어낼 수 있습니다. 마치 차가 길을 따라 달리는 것을 보는 것과 같습니다; A 에서 B 로 이동한 것은 알지만, 운전자가 GPS 를 사용했는지, 지도를 보았는지, 아니면 그냥 추측했는지는 알 수 없습니다. 이로 인해 컴퓨터 모델은 "불충분하게 결정된" 상태가 됩니다. 가능한 답이 너무 많고, 컴퓨터는 데이터에 어느 정도 맞다는 이유만으로 잘못된 답을 선택할 수 있습니다.

새로운 접근법: 내면의 독백에 귀 기울이기

이 논문은 이러한 모델을 구축하는 새로운 방식을 제시합니다. 최종 선택만 관찰하는 대신, 연구자들은 컴퓨터 모델에 **"어떻게"**도 입력했습니다. 즉, 결정을 내리는 동안 사람들이 말한 실제 생각 (Think-Aloud 흔적) 이었습니다.

연구자들은 탐정 역할을 하는 초지능 AI(대규모 언어 모델) 를 사용했습니다. AI 에게는 두 가지 유형의 단서가 주어졌습니다:

• 단서 A: 그 사람이 내린 선택들의 목록.
• 단서 B: 그 선택들을 내리는 동안 그 사람이 말한 내용 전사본.

그런 다음 AI 는 선택과 말해진 생각 둘 다를 설명할 수 있는 컴퓨터 프로그램을 작성하려 했습니다.

그들이 발견한 것

연구자들은 위험한 결정을 내리는 사람들 (확실한 작은 보상이나 큰 보상의 기회를 선택하는 경우 등) 을 대상으로 이를 테스트했습니다. "말해진 생각"을 섞어 넣었을 때 일어난 일은 다음과 같습니다:

1. 모델이 더 똑똑해졌습니다 (더 나은 예측)
AI 가 선택만 사용했을 때는 decent 한 추측을 했습니다. 하지만 선택에 말해진 생각을 더했을 때, 모델들은 다음에 그 사람이 무엇을 할지 예측하는 능력이 훨씬 뛰어났습니다. 마치 범죄를 해결하는 탐정과 같습니다: 발자국만 보면 잘못된 용의자를 추측할 수 있습니다. 하지만 용의자의 알리바이도 듣는다면 진실을 훨씬 더 정확하게 찾아낼 수 있습니다.

2. 모델의 "DNA"가 바뀌었습니다 (구조적 변화)
이것이 가장 놀라운 부분입니다. AI 는 단순히 숫자를 조정하지 않았습니다. 인간 정신을 설명하는 데 사용한 논리의 유형을 완전히 바꾸었습니다.

• 말해진 생각 없이: AI 는 주로 인간이 "줄다리기" 방식을 사용한다고 생각했습니다. 즉, 사람들은 옵션 A 의 가치를 계산하고, 옵션 B 의 가치를 계산한 다음, 두 숫자를 단순히 비교하여 어느 것이 더 큰지 확인한다고 가정했습니다.
• 말해진 생각 포함: AI 는 대부분의 사람들 (약 70%) 에게 뇌가 **"부드러운 스무디 블렌더"**처럼 작동한다는 사실을 깨달았습니다. 단순히 두 개의 별도 숫자를 비교하는 대신, 사람들은 실제로 각 옵션 안의 재료들 (위험, 보상, 확률) 을 먼저 섞어 하나의 느낌으로 블렌딩한 다음 선택을 내렸습니다.

이 논문은 거의 10 명 중 7 명에게서 말해진 생각을 추가함으로써 AI 가 "줄다리기" 모델을 포기하고 "블렌더" 모델로 전환하도록 강요받았음을 발견했습니다.

핵심 교훈

이 논문의 주요 주제는 사람들이 어떻게 생각하는지 듣는 것이 우리가 그들의 정신을 그리는 지도를 바꾼다는 것입니다.

만약 목적지 (선택) 만 본다면, 직선처럼 보이는 지도를 그릴 수 있습니다. 하지만 여행자의 해설을 듣는다면, 그들이 구불구불한 길을 가고, 경치를 구경하러 멈추고, 어쩌면 심지어 되돌아갔다는 사실을 깨닫게 됩니다.

"생각 소리 내기" 데이터를 추가함으로써 연구자들은 단순히 조금 더 나은 지도를 얻은 것이 아니라, 지형 자체가 그들이 생각했던 것과 달랐음을 발견했습니다. 말해진 단어는 제약 조건으로 작용하여 컴퓨터가 추측을 멈추고 사람들이 실제로 사용했던 실제 정신 기계를 찾기 시작하게 했습니다. 그 기계는 손만 지켜보았다면 보이지 않았을 것입니다.

기술 요약

기술 요약: 사고 발화 프로토콜이 자동화된 인지 모델 발견을 재형성함

문제 제기
행동 데이터만으로 유도된 계산적 인지 모델은 종종 과소결정됩니다. 서로 다른 계산 메커니즘이 동일한 또는 매우 유사한 선택 패턴을 생성할 수 있으므로, 모델 선택에 상당한 모호성이 발생합니다 (Wilson & Collins, 2019). '사고 발화 (think-aloud)' 프로토콜은 오랫동안 자연어 형태의 과정 수준 추론을 포착하는 데 사용되어 왔으나, 이전 연구들은 주로 이러한 언어적 보고의 신뢰성을 검증하거나 이를 분석하는 방법을 개발하는 데 초점을 맞추었습니다. 근본적인 질문은 아직 탐구되지 않았습니다: 사고 발화 추론 흔적이 행동 데이터만으로는 회복 불가능한 계산 구조의 자동화된 발견을 촉진할 수 있을까요?

방법론
저자들은 GeCCo(Rmus et al., 2025) 라는 자동화된 모델 발견 프레임워크를 사용하며, 이는 대규모 언어 모델 (LLaMA-3.1-70B) 을 활용하여 후보 계산 모델을 반복적으로 생성합니다. 이러한 모델은 작업 입력을 선택으로 매핑하는 실행 가능한 함수로 정의됩니다. LLM 은 현재 가장 성능이 좋은 모델의 적합도를 바탕으로 홀드아웃 (held-out) 데이터에 대한 적합도를 개선하는 대체 모델 구조를 제안하도록 프롬프트됩니다.

이 연구는 72 명의 참가자가 포함된 위험한 의사결정 데이터셋에 이 프레임워크를 적용합니다. 이 작업에서 참가자들은 카네만과 트버스키 (1979) 가 확립한 패러다임에 따라 19 번의 시도에 걸쳐 이진 선택을 합니다. 실험은 두 가지 조건을 비교합니다:

1. 행동만 (Behavior-Only): 행동 선택 데이터만을 사용하여 모델을 발견합니다.
2. 행동 + 사고 발화 (Behavior + Think-Aloud): 행동 데이터와 참가자의 언어화된 추론 흔적을 모두 LLM 의 입력으로 사용하여 모델을 발견합니다.

각 참가자에 대해 발견 과정은 동일한 데이터 분할로 10 회 반복됩니다. 각 조건에 대한 최적 적합 모델은 10 개의 홀드아웃 시나리오에서 평가된 베이지안 정보 기준 (BIC) (Watanabe, 2013) 을 기준으로 선택됩니다. 모델 구조를 분석하기 위해 발견된 프로그램은 정규화된 계산 그래프로 변환되며, 여기서 구조적 특징이 추출되어 HDBSCAN(McInnes et al., 2017) 을 사용하여 클러스터링됩니다.

주요 결과

1. 예측 성능 향상: 사고 발화 데이터를 포함하여 발견된 모델은 유의미하게 향상된 외삽 (out-of-sample) 예측 성능을 보였습니다. 짝지은 t-검정 결과, 사고 발화 조건에서 홀드아웃 BIC 점수가 행동만 조건에 비해 유의하게 낮았습니다 ($t(71) = -3.41, p = 0.001$). 구체적으로, 참가자의 59.7% 가 사고 발화 조건에서 더 낮은 BIC 를 보였습니다.
2. 모델 구조의 체계적 재형성: 과정 수준의 언어 데이터 포함은 기존 모델을 단순히 정교화하는 것을 넘어, 발견된 메커니즘의 구조적 클래스를 체계적으로 변경했습니다. 클러스터링은 세 가지 주요 메커니즘 군을 식별했습니다: 통합 효용 (Integrated Utility), 명시적 비교기 (Explicit Comparator), 규칙 기반 연산자 (Rule-based Operator).
   • 구조적 전환: 행동만 조건에서 사고 발화 조건으로 이동할 때, 참가자의 69.4% 가 다른 메커니즘 군에 할당되었습니다.
   • 구체적 전이: 가장 두드러진 전환은 명시적 비교기 군 (효용을 계산하고 직접 비교함, 예: $\Delta U = U_A - U_B$) 에서 통합 효용 군 (비교 전에 옵션을 변환하고 통합함) 으로의 이동이었습니다.
   • 질적 차이: 이러한 전이는 단순한 코드 변이가 아닌 계산 조직의 근본적인 변화 (예: 직접 가치 비교에서 각 옵션 내의 이득/손실을 변환하고 통합하는 과정으로의 전환) 를 나타냅니다.

의의 및 주장
본 논문은 과정 수준의 언어 데이터가 허용 가능한 계산 모델의 공간을 제약하는 기능적 역할을 한다고 주장합니다. 하부 인지 메커니즘에 대한 추가적인 제약을 제공함으로써, 사고 발화 흔적은 행동 데이터만 내재하는 불확정성을 해결합니다.

저자들은 사고 발화 데이터의 통합이 다음과 같다고 결론 내립니다:

• 자동화된 모델 발견의 예측 품질을 향상시킵니다.
• 발견된 인지 모델의 구조를 체계적으로 재형성하여, 행동만으로는 회복 불가능한 메커니즘 군을 식별하게 합니다.
• 언어적 보고가 단순한 보조 데이터가 아니라 인간 의사결정의 진정한 계산 아키텍처를 밝히는 데 필수적임을 시사합니다.

이 연구는 자동화된 모델 발견 프레임워크가 행동적 과소결정을 넘어설 수 있도록 자연어 흔적을 활용할 수 있음을 보여주며, 그렇지 않으면 숨겨져 있을 다양한 인지 메커니즘을 드러냅니다.