Towards Understanding and Measuring COGNITIVE ATROPHY in LLM Behaviour

기술 요약: LLM 행동에서의 인지적 위축(COGNITIVE ATROPHY) 이해 및 측정을 향하여

문제 정의
정신 건강 지원 분야에서 대규모 언어 모델(LLM)에 대한 현재의 평가는 주로 표면적인 안전성, 정적인 응답 품질, 또는 심리학적 지식에 초점을 맞추고 있다. 이러한 벤치마크는 모델이 현실적이고 정서적으로 민감한 상호작용 속에서 어떻게 행동하는지를 포착하지 못한다. 중요한 평가의 공백이 존재한다: 기존의 지표들은 반복적인 LLM과의 상호작용이 사용자의 성찰, 대처, 또는 의사결정 능력을 유지하는 데 도움을 주는지, 아니면 의도치 않게 이러한 인지적 과정을 사용자로부터 AI 쪽으로 전이시키는지 여부를 판별하지 못한다. 저자들은 핵심적인 위험이 단순히 단일 응답이 안전한지 여부가 아니라, 누적된 상호작용 패턴이 사용자의 주체성을 재형성하는 데 있다고 주장한다.

방법론
이를 해결하기 위해, 저자들은 **인지적 위축(COGNITIVE ATROPHY)**을 모델의 응답이 사용자의 대처, 해석, 의사결정 또는 정서 조절 기능을 사용자로부터 LLM으로 전이시키는 프로세스 수준의 행동 패턴으로 공식화한다. 이 개념은 인지적 오프로딩(cognitive offloading) 이론과, 지원이 사용자의 추론을 대체하는 것이 아니라 비계(scaffold)를 설정해야 한다는 심리 치료 원칙에 기초한다.

저자들은 이 현상을 측정하기 위해 설계된 임상적으로 근거 있는 벤치마크인 COGNITIVE ATROPHY BENCH를 도입한다. 주요 방법론적 구성 요소는 다음과 같다:

• 데이터셋 큐레이션: 이 벤치마크는 총 15,680회의 턴으로 구성된 1,576개의 완전한 인간 생성 상담 대화(1,212개의 단일 턴 및 364개의 다중 턴 트랜스크립트)를 포함한다. 이는 네 가지 기존 데이터셋(CounselChat, PAIR, CARE-Bench, HOPE)에서 추출되었으며 22개의 정신 건강 주제를 다룬다.
• 모델 평가: 다섯 가지 LLM(GPT, Claude, Gemini, Llama, Qwen)을 실제 배포 조건(미세 조정 없음, 중립적 시스템 프롬프트) 하에서 42,230개의 응답을 생성하도록 쿼리를 보냈다.
• 주석 스키마(Annotation Schema): 세 명의 임상 심리학 전문가가 다음을 아우르는 20개 속성 스키마를 개발했다:
  • 사용자 맥락 (U): 임상적 요구 사항을 특징짓는 5개 속성 (예: 민감도, 해결 추구형).
  • 응답 행동 (R): 클러스터로 그룹화된 10개 속성: 의존성을 유발하는 패턴(예: 해결 제시형, 권고형), 공감적 조율(예: 공감의 정확도, 언어 매칭), 그리고 응답 스타일/안전성(예: 주제 전환, 개방형 vs 폐쇄형 질문).
  • 글로벌 리스크 플래그 (F): 불연속적인 위험 이벤트에 대한 5개의 이진 플래그.
• 인간 평가: 훈련된 6명의 임상 검토자가 커스텀 웹 기반 인터페이스를 사용하여 스키마를 적용하였으며, 이를 통해 구간 근거(특정 텍스트 구간 강조)를 포함한 5,324개의 판단을 도출했다. 검토자 간 신뢰도는 상당했다 (평균 $\kappa$ 0.65 ~ 0.67), 골드 스탠다드 대비 일치도는 78.8%였다.
• 지표: 연구는 세 가지 정량적 도구를 도입한다:
  1. 사용자 입력 위험 지수 (UIRI): 사용자 프롬프트의 임상적 요구도를 측정한다.
  2. 인지적 위축 위험 지수 (ARI): 의존성, 공감적 조율, 응답 스타일 및 리스크 플래그를 종합하여 위축 지향적 행동을 정량화하는 복합 점수이다.
  3. 궤적 요약 (Trajectory Summaries): 대화 턴에 따른 행동 진화를 추적하기 위한 다중 턴 상호작용 지표 (시작 레벨, 정점, 평균, 표류, 변동성).

주요 결과
다섯 가지 LLM에 대한 평가는 다음과 같은 결과를 나타냈다:

• 위축의 보편성: 다섯 모델 모두 일관되게 중간에서 높은 수준의 위축 지향적 행동을 보인다. 위축 위험 지수(ARI)는 모든 모델을 좁은 범위(단일 턴 0.52–0.61; 다중 턴 0.48–0.57)에 위치시키며, 이는 서로 다른 행동 경로에도 불구하고 전반적인 위험 수준이 유사함을 나타낸다.
• 단서에 대한 반응성: 모델들은 명시적인 안전 단서(예: 사용자의 민감도가 응답의 민감도로 반영됨)를 안정적으로 추적한다. 그러나 사용자가 명시적으로 해결책이나 결정을 구할 때(해결 추구 신호)에는 제한적인 적응력을 보이며, 이러한 맥락에서 사용자의 자율성을 지원하기 위해 행동을 조정하는 데 실패한다.
• 지배적 패턴: 인지적 위축의 주요 동인은 지시적 조언, 문제 해결, 권고, 주제 전환, 그리고 성찰보다는 의존성을 강화할 수 있는 형태의 타당성 확인(validation)과 같은 일련의 반복되는 행동들이다.
• 다중 턴 역학: 모든 턴에 걸쳐 모든 모델은 동일한 방향으로 표류하며, 더욱 지시적이고, 더 폐쇄적이며, 더 해결 중심적으로 변한다. 구체적으로, 폐쇄형 질문 점수는 1회차에서 6회차로 갈수록 +0.19에서 +0.33만큼 상승했으며, 지시적 구간은 대략 두 배로 증가했다.
• 모델 간 차이: 전반적인 위험은 비슷하지만 경로는 갈린다. GPT와 Llama는 지시적이고 해결 중심적인 행동을 보이는 경향이 있는 반면, Claude는 가장 낮은 전반적 위축 위험을 보였다.

의의 및 기여
본 논문은 세 가지 주요 기여를 주장한다:

1. 새로운 위험 차원의 공식화: 저자들은 인지적 위축을 안전성 및 유용성과 구별되는, 측정 가능한 프로세스 수준의 위험으로 정의하며, AI 매개 정신 건강 지원에서 사용자의 주체성 보존에 초점을 맞춘다.
2. 벤치마크 및 프로토콜: 단일/다중 턴 데이터, 실제 치료 대화, 20개 속성의 전문가 스키마, 구간 수준의 근거, 재현 가능한 주석 자료를 통합한 최초의 임상 근거 기반 벤치마크인 COGNITIVE ATROPHY BENCH를 제공한다.
3. 실증적 증거: 민감한 대화에서 LLM이 어떻게 행동하는지에 대한 최초의 대규모 임상 근거 분석을 제공하며, 행동의 출현과 진화를 전향적으로 분석하기 위한 URI, ARI 및 궤적 요약을 도입한다.

저자들은 현재의 벤치마크가 모델이 단일 순간에 무엇을 말하는지를 측정한다면, 더 어렵고 중대한 문제는 모델이 다음에 무엇을 말할 것인지, 그리고 그것이 사용자의 자신의 추론을 어떻게 형성하는지를 이해하는 것이라고 결론짓는다. 이 연구는 민감한 LLM 대화에서 모델의 행동을 감사하기 위한 토대를 제공하며, 모든 코드와 데이터는 비상업적 연구를 위해 공개된다.