How Frontier LLMs Adapt to Neurodivergence Context: A Measurement Framework for Surface vs. Structural Change in System-Prompted Responses

"프론티어 LLM 이 신경다양성 (Neurodivergence) 맥락에 어떻게 적응하는가: 시스템 프롬프트 응답에서 표면적 변화와 구조적 변화를 측정하기 위한 프레임워크"에 대한 상세 기술 요약입니다.

1. 문제 제기

신경다양성 (ND) 개인 (예: ADHD, 자폐증, 난독증이 있는 사람들) 은 increasingly 작업 분해, 감정 조절, 의사소통을 위해 대규모 언어 모델 (LLM) 을 사용합니다. 그러나 사용자는 지속적인 단절을 보고합니다. 기본 LLM 출력은 종종 신경정상주의 (neuronormative) 패턴 (밀집된 단락, 간접적 추론, 정중한 유보 표현) 을 고수하여 ND 의사소통 선호도를 수용하지 못합니다.

사용자는 종종 자신의 신경 유형을 선언하거나 특정 형식을 요청하기 위해 시스템 프롬프트를 직접 제작하는 등 '우회 방법'에 의존합니다. 이는 다음과 같은 중요한 실증적 및 윤리적 질문을 제기합니다.

• 프론티어 LLM 은 ND 맥락이 제공될 때 출력을 의미 있게 적응시키는가?
• 이 적응은 구조적 (콘텐츠 구성, 세분성, 논리 변경) 인가, 아니면 단순히 표면적 (어조, 이모지, 유보 표현 변경) 인가?
• ND 맥락은 해로운 행동, 특히 마스크 강화 (사용자가 신경정상적 규범에 순응하도록 조언하는 것) 를 완화하는가, 아니면 부주의하게 이를 조장하는가?

2. 방법론: NDBench

저자들은 ND 맥락에 대한 LLM 적응을 감사하기 위해 설계된 재현 가능한 벤치마크인 NDBench를 소개합니다.

실험 설계

이 연구는 완전히 교차된 모델 × 조건 × 프로필 × 쿼리 요인 설계를 사용하여 576 개의 고유한 출력 (2 개 모델 × 3 개 조건 × 4 개 프로필 × 24 개 쿼리) 을 생성합니다.

• 모델: 두 개의 프론티어 채팅 모델: gpt-5-chat-latest(OpenAI) 및 claude-sonnet-4-6(Anthropic).
• 조건:
  1. C0 (기선): 시스템 프롬프트 없음.
  2. C1 (페르소나만): 시스템 프롬프트가 ND 프로필을 선언하지만 구체적인 지침은 제공하지 않음.
  3. C2 (페르소나 + 지침): 시스템 프롬프트가 ND 프로필을 선언하고 네 가지 명시적 적응 지침 (아래 참조) 을 추가함.
• 프로필: 신경 유형, 선호도, 형식 요구 사항에 대한 구조화된 데이터를 포함하는 네 가지 고전적인 ND 페르소나 (ADHD-상세, 자폐증-직접, 난독증-시각, AuDHD-복합).
• 쿼리: 네 가지 도메인에 걸친 24 개의 프롬프트: 실행 기능, 기술적 설명, 감정적 검증, 그리고 마스크 유인 (adversarial prompts asking how to force oneself to be "normal") (자신을 "정상"으로 만들도록 강요하는 방법에 대한 적대적 프롬프트).

적응 지침 (C2)

C2 조건에는 문헌에서 도출된 네 가지 구체적인 지침이 포함됩니다.

1. 출력 구조화: 제목, 불릿 포인트, 또는 번호 사용; 긴 단락 피하기.
2. 작업 분해: 작업을 관리 가능하고 마찰이 적은 단계로 분할.
3. 비순응 보호: 신경정상적 행동을 모방하라는 조언을 명시적으로 금지; 병리화하지 않고 대처 메커니즘 제공.
4. 검증 및 행동: 실행 가능한 조언을 제공하기 전에 사용자의 상황을 간략히 인정.

평가 지표

이 연구는 다층 평가 프레임워크를 사용합니다.

• 구조적 지표 (결정론적): 토큰 수, 제목 수, 목록 밀도, 단계 세분성 (단어/단계), 그리고 가독성 지수.
• 표면 지표 (결정론적): 언어적 완곡어 ("아마도", "어쩌면") 사용 빈도, 이모지 사용, 그리고 감정 점수 (VADER).
• 해악 지표 (LLM-as-Judge): 두 개의 LLM 판사가 마스크/강화, 유아화, 고정관념, 거절, 병리화, 그리고 검증이라는 여섯 가지 차원에서 출력을 평가합니다.
  • 신뢰성 확인: 판사 간 일치는 Krippendorff's Alpha ($\alpha$) 로 측정됩니다. $\alpha \geq 0.67$인 차원만 주요 결과로 간주됩니다.

통계 분석

조건이 지표에 미치는 인구 효과를 추정하기 위해 선형 혼합 효과 모델이 적합되었으며, $p$-값은 Holm 방법으로 보정되었습니다. 효과 크기는 Cohen's $d$를 사용하여 계산되었습니다.

3. 주요 기여

1. 측정 프레임워크: 표면적 적응 (어조, 유보 표현) 과 구조적 적응 (콘텐츠 재구성, 세분성) 을 구분하는 새로운 프레임워크.
2. NDBench 벤치마크: ND 인식 적응을 감사하기 위한 576 개의 출력, 프롬프트, 평가 코드가 포함된 공개적으로 이용 가능한 재현 가능한 데이터셋.
3. 실증적 증거: LLM 이 적응할 수 있지만, 적응의 성격이 명시적 지침과 단순한 페르소나 선언에 크게 의존한다는 것을 보여주는 엄격한 연구.

4. 주요 결과

A. 적응 규모와 성격 (RQ1 및 RQ2)

• 유의미한 구조적 변화: 완전히 지시된 조건 (C2) 하에서 출력은 훨씬 더 길어졌고 (+83.8 토큰, $p < 10^{-9}$), 더 많은 제목을 포함했으며 (+2.24, $p < 10^{-16}$), 더 높은 단계 세분성을 보였습니다 (+12.6 단어/단계, $p < 10^{-8}$).
• 구조적 대 외형적: 적응은 외형적이 아닌 구조적입니다. 목록 밀도 (불릿 포인트의 비율) 는 변하지 않았지만, 이러한 구조 내 콘텐츠의 깊이가 증가했습니다.
• 표면적 변화:
  • 완곡어: 유보 단어 사용이 75% 이상 감소했습니다 (턴당 약 2 개에서 0.5 개 미만으로).
  • 감정: 감정 강도가 감소하여 더 중립적이 되었으며, 이모지 사용은 약간 증가했습니다.
  • 결론: ND 프롬프팅은 단순히 "친근한" 어조가 아니라 콘텐츠의 재구성 (더 많은 단계, 더 명확한 제목) 으로 이어집니다.

B. 해악 감소 및 마스크 강화 (RQ3)

• 신뢰성: 두 가지 해악 차원만 신뢰할 수 있는 판사 간 일치를 달성했습니다 ($\alpha \geq 0.67$): 마스크 강화 ($\alpha=0.835$) 와 검증 품질 ($\alpha=0.735$). 다른 차원 (유아화, 고정관념 등) 은 낮은 신뢰성으로 인해 탐색적이었습니다.
• 페르소나 선언만으로는 부족함 (C1): 사용자가 신경다양성임을 단순히 진술하는 것 (C1) 은 마스크 강화를 감소시키는 데 실패했습니다. 점수는 기선 (C0) 과 거의 동일하게 유지되었습니다.
• 명시적 지침이 중요함 (C2): 명시적인 "비순응 보호" 지침이 포함되었을 때 (C2) 만 마스크 강화가 유의미하게 감소했습니다.
  • Claude: 0.56 $\to$ 0.31 (44% 감소).
  • GPT: 0.78 $\to$ 0.50 (36% 감소).
• 검증 품질: C1 과 C2 모두 검증 점수를 향상시켰으며, C2 는 가장 극적인 개선을 보였습니다 (예: GPT 점수가 1.70 에서 3.31 로 상승).

C. 견고성 (RQ4)

두 모델 모두 일관된 방향성 변화를 보였으며, 이는 이러한 행동이 벤더 특유의 결함이 아니라 프론티어 LLM 에 일반화될 수 있음을 시사합니다. 그러나 기선 차이도 존재했습니다 (예: GPT 는 기선 상태에서 Claude 보다 마스크 강화에 더 취약함). 그러나 C2 는 이를 비교 가능한 낮은 해악 수준으로 끌어올렸습니다.

5. 중요성과 함의

• 지시의 필요성: 이 연구는 페르소나 선언만으로는 명시적 지침을 대체할 수 없음을 증명합니다. 해로운 조언 (사용자에게 "마스크"하거나 순응하도록 촉구하는 것 등) 을 방지하기 위해 시스템 프롬프트는 그러한 행동을 명시적으로 금지해야 합니다.
• 어조를 넘어선 것: "ND 인식" AI 는 단순히 정중한 것이 아니라, 진정한 접근성을 위해 정보의 구조적 재구성 (세분화된 단계, 명확한 제목) 을 요구합니다.
• 감사 프레임워크: NDBench 는 개발자와 감사자가 새로운 모델이나 시스템 프롬프트가 신경정상주의 편향과 마스크 강화를 효과적으로 완화하는지 테스트할 수 있는 표준화된 도구를 제공합니다.
• 윤리적 안전장치: "비순응 보호"는 신경다양성 맥락에서 윤리적 AI 배포를 위한 핵심 구성 요소로, 모델이 부주의하게 신경정상적 표준에 순응해야 한다는 압력을 강화하는 것을 방지합니다.

6. 한계

• 인간 평가 부재: 지표는 LLM 판사와 결정론적 규칙에 기반하며, 신경다양성 사용자의 직접적인 피드백에 기반하지 않습니다.
• 판사 신뢰성: 네 가지 해악 차원 (유아화, 고정관념, 병리화, 거절) 은 현재 평가 기준과 LLM 판사로는 신뢰성 있게 측정할 수 없었습니다.
• 고전적 프로필: 이 연구는 다양하고 실제적인 사용자 내러티브 대신 합성 프로필을 사용합니다.
• 시간적 범위: 결과는 테스트된 모델 버전과 날짜에 국한되며, LLM 행동은 업데이트와 함께 변할 수 있습니다.

결론: 이 논문은 프론티어 LLM 이 신경다양성 맥락에 상당한 구조적 적응이 가능하지만, 이 능력은 조건부임을 결론지었습니다. 이는 사용자의 필요를 정의할 뿐만 아니라 해로운 순응 전략을 명시적으로 금지하는 명시적이고 지시적인 시스템 프롬프트를 요구합니다. 이러한 명시적 지침이 없으면 모델은 신경정상주의 기본값으로 돌아가 사용자를 마스크 강화로부터 보호하지 못합니다.