🤖 AI

Evaluating Developmental Cognition Capabilities of LLMs

본 논문은 로버트 케건의 이론에 기반하여 LLM 이 발달적 인지 단계를 감지하는 능력을 평가하기 위해 발달 문장 완성 검사 (DSCT) 를 도입하였으며, 모델이 시뮬레이션된 페르소나의 의도된 단계를 정확하게 식별하고 자체 출력에서 일관된 발달 패턴을 보이지만 실제 인간 응답과의 일치도는 중간 수준에 머무르며, 이는 단계 인식형 AI 의 주요 과제가 분류기 정확도 자체보다는 유도된 텍스트 내의 발달 신호 가용성에 있음을 시사한다고 밝혔다.

원저자: Xiao Xiao, Hayoun Noh, Mar Gonzalez-Franco

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiao Xiao, Hayoun Noh, Mar Gonzalez-Franco

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 글은 해당 논문을 쉬운 언어와 창의적인 비유를 사용하여 설명한 것입니다.

핵심 아이디어: 우리는 어떻게 '생각에 대해' 생각할까?

매우 똑똑한 로봇과 대화한다고 상상해 보세요. 보통 우리는 로봇에게 당신이 무엇을 원하는지 (당신의 목표) 나 무엇을 알고 있는지 (당신의 사실) 를 이해시키려고 노력합니다. 하지만 이 논문은 다른 질문을 던집니다: 당신은 실제로 세상을 어떻게 이해합니까?

저자들은 로버트 케건 (Robert Kegan) 의 심리학 이론을 이 문제를 바라보는 데 활용합니다. 케건의 이론을 '의미 생성'의 사다리라고 생각하세요.

아래쪽 단계: 당신은 세상을 일련의 규칙이나 타인이 당신에게 기대하는 것으로 봅니다. (예: "나는 상사가 그렇게 하라고 했기 때문에 이렇게 합니다.")
위쪽 단계: 당신은 자신의 내부 나침반을 구축하고 자신의 신념을 되돌아볼 수 있습니다. (예: "나는 상사가 반대하더라도 상황을 분석한 결과 이것이 내 가치관과 부합한다고 판단했기 때문에 이렇게 합니다.")

이 논문은 사람들이 텍스트만 읽었을 때 그 사람이 사다리의 어느 단계에 서 있는지 AI 가 감지할 수 있는지 알아내려 합니다.

문제: 기존 테스트는 너무 무거웠다

전통적으로 이 사다리에서 누군가가 어느 위치에 있는지 파악하기 위해 심리학자들은 90 분짜리 심리 치료 세션처럼 길고 깊은 인터뷰를 진행해야 했습니다. 고래를 들어 올리는 것처럼 무게를 재려는 것과 같습니다. 수천 명에게 적용하거나 AI 를 테스트하기에는 너무 무겁고 느립니다.

또한 더 짧은 테스트 (문장 완성) 도 있지만, 종종 구식이거나 비공개 (구매해야 함) 이거나 성이나 가족에 관한 매우 사적인 질문을 하여 침해적으로 느껴집니다.

해결책: "DSCT"(새롭고 가벼운 테스트)

저자들은 **발달 문장 완성 테스트 (Developmental Sentence Completion Test, DSCT)**라는 새로운 20 문항 테스트를 개발했습니다.

비유: '빈칸 채우기' 게임을 상상해 보세요. "가장 좋아하는 색깔은 무엇입니까?"라고 묻는 대신, "약속이 깨졌을 때 나는 ~하다고 느낀다"거나 "한 사람이 두 가지 좋은 선택지 사이에서 고르기를 강요받을 때 그들은 ~한다"와 같은 질문을 합니다.
목표: 답변은 '옳음'이나 '틀림'으로 채점되지 않습니다. 사고의 구조에 따라 채점됩니다. 답변이 군중을 따르는 사람처럼 들리는지, 아니면 자신의 내부 시스템을 가진 사람처럼 들리는지 확인합니다.

세 가지 실험: '맛보기 테스트'

연구진은 AI 가 이러한 답변을 올바르게 해석할 수 있는지 확인하기 위해 세 가지 다른 '맛보기 테스트'를 수행했습니다.

1. "로봇이 인간처럼 연기하는" 테스트 (시뮬레이션된 페르소나)

설정: 그들은 초지능 AI 에게 '규칙 준수자'에서 '독립적 사고자'까지 다양한 유형의 사람으로 가장하게 하고 테스트를 작성하도록 했습니다.
결과: AI 분류기 (채점자) 는 이 부분에서 놀라울 정도로 훌륭했습니다. AI 가 자신이 연기해야 할 페르소나를 정확히 알고 있을 때, 다른 AI 들은 '사고 스타일'을 거의 완벽하게 맞출 수 있었습니다.
비유: 배우가 대본을 완벽하게 읽는 것과 같습니다. 다른 배우들 (채점자) 은 어떤 캐릭터가 연기되고 있는지 쉽게 알아볼 수 있었습니다.

2. "실제 인간" 테스트

설정: 그들은 83 명의 실제 인간에게 이 테스트를 실시했습니다. 그런 다음 인간 전문가와 AI 모두에게 답변을 채점하도록 요청했습니다.
결과: 이는 더 혼란스러웠습니다. AI 와 인간 전문가들은 정확한 '단계'에 대해 약 50% 의 경우에만 일치했지만, 일반적인 범위 (예: 둘 다 '3 단계와 4 단계 사이'라고 함) 에 대해서는 훨씬 더 자주 일치했습니다.
비유: 실제 인간은 복잡합니다. 때로는 짧은 답변을 쓰고, 때로는 긴 답변을 쓰며, 때로는 스스로 모순되기도 합니다. 늦게 도착하는 중에 보낸 문자 메시지를 읽으며 누군가의 기분을 추측하는 것과 같습니다. 대본을 읽는 것보다 어렵습니다. AI 는 인간 전문가보다 약간 더 보수적 (검소함) 이어서 확신이 없으면 높은 단계를 거의 부여하지 않았습니다.

3. "AI 가 자신과 대화하는" 테스트 (기본 응답)

설정: 그들은 AI 모델들에게 아무도 연기하지 않은 채 테스트를 보게 했습니다. 그들은 그냥 자신답게 답변했습니다.
결과: 더 크고 새로운 AI 모델들은 더 작고 오래된 모델들보다 사다리의 더 높은 단계에 있는 것처럼 들리는 답변을 내놓았습니다.
비유: 유아와 대학생에게 같은 '빈칸 채우기' 테스트를 작성하도록 요청한다고 상상해 보세요. 대학생의 답변은 자연스럽게 더 복잡하고 자기 성찰적인 것처럼 들립니다. 논문은 AI 모델이 더 크고 새로워질수록 그들의 '기본 목소리'가 자기 성찰적인 성인처럼 들린다는 것을 발견했습니다.

주요 결론

AI 는 패턴을 잘 찾아내지만, 신호가 중요하다: 텍스트가 깔끔하고 구조화되어 있다면 (시뮬레이션된 테스트처럼), AI 는 '사고 스타일'을 파악하는 데 탁월합니다. 텍스트가 복잡하다면 (실제 인간 답변처럼), 더 어렵지만 여전히 일반적인 아이디어를 얻는 것은 가능합니다.
AI 는 인간처럼 '생각'하지 않는다: 논문은 AI 가 실제로 발달 단계를 '가지고' 있는 것은 아니라고 조심스럽게 말합니다. AI 가 생성하는 단어가 특정 단계에서 나온 것처럼 들릴 뿐입니다.
AI 의 '목소리'가 중요하다: 더 크고 새로운 AI 모델들은 더 '자기 주도적'인 (사다리에서 더 높은) 방식으로 말하는 경향이 있습니다. 이는 더 작은 모델들보다 인간 사용자를 다르게 해석할 수 있음을 의미할 수 있습니다.

미래에 대한 의미 (논문에 따르면)

논문에 따르면 AI 가 진정한 개인화를 이루려면 단순히 당신이 무엇을 좋아하는지 (예: "나는 SF 영화를 좋아한다") 배워서는 안 됩니다. 당신이 어떻게 생각하는지 이해하려고 노력해야 합니다 (예: "규칙을 알려달라고 해야 하나, 아니면 내 아이디어에 도전해 달라고 해야 하나?").

그러나 저자들은 무작위 대화에서 이를 추측해서는 안 된다고 경고합니다. 신뢰할 수 있는 판독을 얻으려면 (이 테스트처럼) 구조화된 방식으로 질문해야 합니다. 빠른 문자 메시지를 훑어보는 것만으로는 사람의 '사고 사다리'를 알 수 없으며, 구조를 보려면 적절한 대화가 필요합니다.

요약하자면: 이 논문은 사람들이 세상을 어떻게 이해하는지 측정하기 위한 새롭고 짧은 테스트를 개발했습니다. 연구진은 AI 가 특히 답변이 명확할 때 이 테스트를 잘 읽을 수 있음을 발견했지만, 실제 인간의 답변은 복잡하다는 것을 발견했습니다. 또한 AI 모델 자체도 작고 새로운 모델로 갈수록 더 복잡해지며 글쓰기 스타일에서 '성장'하고 있습니다.

기술 요약: LLM 의 발달적 인지 능력 평가

문제 제기
대화형 AI 시스템은 사용자 선호도, 이력, 목표에 따라 점점 더 개인화되고 있습니다. 그러나 현재 접근법은 모델 출력으로부터 사용자가 의미를 어떻게 해석하고 구성하는지를 largely 무시합니다. 로버트 케건 (Robert Kegan) 의 구성-발달 이론에 기반하여, 저자들은 개인들이 '주체 - 객체 (subject–object)' 변환, 즉 자신이 무엇에 주체적으로 묶여 있는지에 반해 무엇을 객체로서 성찰할 수 있는지에 있어서 차이가 있다고 주장합니다. 의미 구성 구조의 이러한 차이를 무시하면 출력의 동질화나 사용자의 신념을 아첨하듯 강화하는 실패 양상으로 이어질 수 있습니다. 핵심적인 과제는 발달 단계를 평가하는 표준 방법들 (예: 주체 - 객체 인터뷰) 이 전문가 주도이며 시간이 많이 소요되고 대규모 언어 모델 (LLM) 벤치마킹으로 확장되지 않는다는 점입니다. furthermore, 기존 문장 완성 도구는 종종 독점적이거나 길거나 자동화된 평가에 부적합한 침습적 프롬프트를 포함하고 있습니다.

방법론
이러한 한계를 해결하기 위해 저자들은 훈련된 인간 평가자나 LLM 이 임시적인 케건식 발달 라벨을 부여하기에 충분한 텍스트를 이끌어내도록 설계된 20 개 항목의 자가 관리형 도구인 **발달 문장 완성 테스트 (DSCT)**를 소개합니다. DSCT 는 구식 도구 (예: Loevinger SCT) 에서 발견되는 성별 관련 및 문화적 침습성 항목을 제거하고, 10 개 항목은 1 인칭 (자가 평가) 으로, 10 개 항목은 3 인칭 (일반적인 타인에 대한 추상적 평가) 으로 구성된 이중 화자 설계를 활용합니다.

본 연구는 세 가지 뚜렷한 영역에서 발달 신호 회수를 평가합니다:

시뮬레이션된 페르소나: 저자들은 기존 문헌에 기반한 23 가지 전문가가 설명한 발달 프로파일 (2 단계부터 5 단계까지, 전환기 포함) 을 사용하여 138 개의 합성 DSCT 응답을 생성했습니다. 이는 특정 페르소나에 조건부인 시뮬레이터 (Gemini 3.1 Pro) 에 의해 생성되었습니다. 이후 12 개의 최첨단 및 소형 LLM 이 이러한 응답을 케건 단계로 분류하도록 임무가 부여되었습니다.
실제 인간 응답자: DSCT 가 83 명의 인간 참가자에게 실시되었습니다. 세 명의 케건 훈련 인간 평가자가 각 응답 세트에 대해 합의 라벨을 제공했습니다. 그 후 두 개의 최상위 성능 LLM(Claude Opus 4.6 및 Gemini 3.1 Pro) 에게 동일한 인간 응답을 분류하도록 요청하여 인간 평가자와의 일치도를 측정했습니다.
기본 모델 생성 답변: GPT-3.5 부터 현재 최첨단 모델에 이르기까지 29 개의 LLM 이 페르소나 조건이나 목표 단계 지시 없이 DSCT 에 답변하도록 프롬프트되었습니다. 생성된 출력물은 모델의 기본 텍스트 생성에 내재된 발달 구조를 분석하기 위해 평가되었습니다.

주요 기여

도구 개발: 유도된 텍스트 내의 단계적 구조를 인간과 LLM 이 일치되게 평가하기 위해 특별히 설계된 20 개 항목의 비침습적 자가 관리형 도구인 DSCT 의 도입.
LLM 벤치마킹: 케건식 라벨링에 대한 12 개 LLM 에 대한 포괄적인 벤치마크. 본 연구는 최상위 최첨단 모델이 통제된 합성 조건 하에서 시뮬레이터가 의도한 라벨을 높은 정확도로 회수할 수 있음을 보여주지만, 실제 인간 데이터에 대한 성능은 인간 응답의 내재적 노이즈에 의해 제한됨을 입증합니다.
모델 출력 구조 분석: LLM 이 발달 구조를 분류하는 능력뿐만 아니라 기본적으로 생성하는 텍스트의 구조에서도 차이가 있음을 드러내는 분석. 더 크고 새로운 모델들은 더 작거나 오래된 모델들보다 더 높은 발달 단계로 평가되는 텍스트를 생성하는 경향이 있습니다.

결과

합성 검증: 통제된 합성 조건 하에서 최상위 최첨단 모델 (예: Claude Opus 4.6, Gemini 3.1 Pro, Grok 4.2) 은 시뮬레이터가 의도한 단계 라벨을 100% 정확도로 회수했습니다. 소형/소형 모델들은 특히 전환기 단계 (예: 3/4, 4/5) 에서 현저한 저하를 보였으며, 분류에서 체계적인 상향 편향을 나타냈습니다.
인간 - LLM 일치도: 실제 인간 DSCT 응답에서 인간 평가자와 LLM 분류기 간의 일치도는 '보통 (fair)' 수준이었습니다 (이차 가중 $\kappa = 0.49$ ). 정확한 일치도는 46.3% 였으나, $\pm0.5$ 단계 이내의 일치도는 82.9% 였습니다. 합성 설정과 달리, LLM 은 구조화된 텍스트에서 인간 평가자보다 약간 더 보수적 (더 낮은 단계 할당) 이었습니다. 연구는 인간 평가자들조차 보통 수준의 일치도 ( $\kappa = 0.31$ ) 만 보였음을 지적하며, 20 개 항목 자가 관리형 테스트의 '기준 진실 (ground truth)'은 본질적으로 확률적임을 시사합니다.
모델 출력 경향: 더 새롭고 큰 모델들의 기본 응답은 더 오래되거나 소형 모델들 (평균 3.55 단계) 에 비해 더 높은 발달 단계 (최첨단 모델 평균 3.97 단계) 로 평가되었습니다. 모델 출시일과 발달 점수 사이에 유의한 양의 상관관계가 발견되었습니다 ( $R^2 = 0.698$ ).
유도 형식: 본 연구는 발달 신호가 구조화되지 않은 대화 흔적보다 구조화된 유도 텍스트 (DSCT 와 같은) 에서 더 '깨끗하다'는 사실을 발견했습니다. 구조화되지 않은 채팅 기록으로부터의 단계 추론은 강력한 상향 편향과 구조화된 설문지 판단과의 매우 약한 일치도를 초래했습니다.

의의 및 주장
본 논문은 발달 신호가 DSCT 스타일의 텍스트에서 회수 가능하다고 주장하지만, 그 회수 가능성은 텍스트의 출처에 크게 의존합니다. 단계 인식 대화형 AI 의 핵심 제약은 단순히 분류기 정확도가 아니라, 유도된 텍스트 내의 발달 신호 가용성으로 식별됩니다.

저자들은 임의의 언어로부터의 수동적 추론보다 DSCT 와 같은 구조화된 유도가 발달적 적응을 위한 더 신뢰할 수 있는 기반을 제공한다고 주장합니다. 그들은 이 작업이 사용자의 발달 단계를 안정적인 특성이나 진단적 사실로 측정하는 것이 아니라, 특정 응답 세트에 존재하는 '단계적 구조'를 특징짓는 것임을 강조합니다. 연구 결과에 따르면, 대화형 AI 가 사용자의 의미 구성 구조에 효과적으로 적응하기 위해서는 노이즈가 많고 구조화되지 않은 상호작용 흔적로부터 복잡한 발달 단계를 추론하려는 시도가 아니라, 회수 가능한 발달 신호에 접근하기 위해 구조화된 유도에 의존해야 합니다.