Developing and Validating the Spanish Version of the Large Language Models Dependency Scale (LLM-D12-SP)

기술 요약: 대규모 언어 모델 의존도 척도 스페인어 버전(LLM-D12-SP)의 개발 및 타당도 검증

문제 제기
대규모 언어 모델(LLM)이 간헐적인 도구에서 조직 및 개인적 환경의 습관적인 인지 파트너로 전환됨에 따라, 인간의 자율성 침해와 심리적 의존성 출현에 대한 우려가 제기되고 있다. 기존의 도구들은 물질 사용 프레임워크(예: 금단 현상, 내성)에 기반한 "문제적 사용"이나 "중독"을 측정하지만, 도구적 의존(과업 수행 및 의사결정 지원을 위한 LLM 사용)과 관계적 의존(LLM을 동반자나 정서적 검증의 원천으로 간주하는 것)을 구분하는 데는 종종 실패한다. 더욱이 스페인과 라틴 아메리카에서 LLM 도입이 급격히 확장되고 있음에도 불구하고, 스페인어 사용 인구를 위한 심리측정학적으로 타당성이 검증된 도구는 매우 부족한 실정이다. 문화적, 언어적으로 적절한 도구의 부재는 이 인구 집단의 LLM 의존의 유병률, 구조 및 상관관력을 평가하는 데 한계를 초래한다.

연구 방법론
본 연구는 엄격한 심리측정학적 평가를 통해 LLM 의존도 척도(LLM-D12-SP)의 스페인어 적응판을 타당화하는 것을 목표로 하였다.

• 참가자: Prolific을 통해 모집된 최종 표본은 386명의 스페인어 사용자(평균 연령 = 28.0세; 남성 55%)이다. 선정 기준은 주요 LLM(예: ChatGPT, Gemini)에 대한 활발한 참여와 빈번한 사용 또는 인지된 유의미한 의존성을 요구하였다.
• 도구 번역: 원문 영어 버전과의 개념적 등가성을 보장하기 위해 표준 역번역(back-translation) 절차를 사용하여 척도를 개발하였다.
• 측정 도項目:
  • LLM-D12-SP: 6점 리커트 척도로 측정되는 두 가지 하위 척도, 즉 도구적 의존성(6문항)과 관계적 의존성(6문항)으로 구성된 12개 문항 척도이다.
  • 외부 타당도 측정치: 인터넷 중독(IAT-7), AI에 대한 태도(수용 및 공포), 인지 욕구(NFC), 그리고 주요 LLM에 대해 인지된 신뢰도를 포함한다.
• 분석 절차:
  • 단조성 검사: 문항의 척도성을 평가하기 위한 Mokken 척도 분석.
  • 확인적 요인 분석(CFA): 두 요인 구조를 단일 요인 대안 모델과 비교 검증.
  • 신뢰도 분석: Cronbach's alpha 및 수정된 문항-총점 상관계수.
  • 판별 타당도: Fornell-Larcker 기준, Heterotrait–Monotrait 비율(HTMT), 그리고 카이제곱 차이 검정을 통해 평가.
  • 네트워크 분석: EBICglasso 알고리즘을 사용하여 문항 중심성 및 네트워크 구조를 조사.
  • 외부 타당도 검증: 외부 구성 개념과의 연관성을 분석하기 위한 다변량 다중 회귀 분석.

주요 결과

• 요인 구조: 확인적 요인 분석은 원래의 두 요인 구조(도구적 및 관계적 의존성)를 지지하였다. Tucker-Lewis 지수(TLI = 0.89)는 0.90 임계값보다 약간 낮았으나, 적합도 지수(CFI = 0.91)와 표준화 잔차 제곱평균제곱근(SRMR = 0.07)은 수용 가능한 모델 적합도를 나타냈다. 두 요인 모델은 단일 요인 모델보다 유의미하게 더 나은 적합도를 보였다 ($\Delta\chi^2 = 488, p < .001$).
• 신뢰도: 척도는 강력한 내부 일관성을 보였다. 전체 척도의 Cronbach's $\alpha$는 0.89였으며, 하위 척도의 알파 값은 도구적 의존성 0.86, 관계적 의존성 0.85였다. 모든 문항은 유의미한 부하량($p < .001$)을 보였으나, 관계적 하위 척도의 역채점 문항은 약간 낮은 부하량($\lambda = 0.48$)을 보였다.
• 판별 타당도: 두 하위 척도는 경험적으로 구별되었다. 두 요인의 평균 분산 추출값(AVE)은 각각 0.52와 0.48로, 두 요인 간의 제곱 상관계수인 0.32를 초과하였다. HTMT 비율은 0.65로, 0.85 컷오프보다 훨씬 낮았다.
• 네트워크 분석: 문항들은 두 개의 응집력 있는 네트워크로 클러스터링되었다. 도구적 네트워크에서는 의사결정 확신 및 습관적 사용에 관한 문항들이 중심적이었다. 관계적 네트워크에서는 사회적 지지 및 외로움 감소에 관한 문항들이 중심적이었다.
• 외부 타당도 검증: 두 의존성 차원은 모두 인터넷 중독 및 LLM에 대해 인지된 신뢰도와 정적 상관관계가 있었다. 높은 의존도는 AI에 대한 긍정적 태도(수용)와도 연결되었으나, 인지 욕구(NFC) 또는 AI 공포와는 약하거나 없는 연관성을 보였다.
• 사용 패턴: LLM 사용 빈도가 높을수록, 그리고 고정형 및 이동형 맥락 모두에서 사용량이 많을수록 도구적 의존성이 높았다. 모바일 기기 사용은 PC 사용에 비해 관계적 의존성과 특히 밀접하게 연관되어 있었다.

의의 및 주장
본 논문은 LLM 의존성을 평가하기 위한 최초의 심리측정학적으로 타당성이 검증된 스페인어 도구를 제공한다고 주장한다. 주요 기여는 다음과 같다:

1. 교차 언어적 지원: 본 연구는 LLM-D12의 이차원적 구조(도구적 대 관계적)가 영어, 아랍어, 그리고 이제 스페인어 사용 인구에서도 견고함을 입증하며, 이는 이러한 차원이 문화적 산물이 아닌 인간-AI 상호작용의 안정적인 차원임을 시사한다.
2. 개념적 구별: 도구적 의존과 관계적 의존의 분리를 타당화함으로써, 본 척도는 연구자들이 효율성 및 과업 지원에 의한 의존과 사회적 및 정서적 욕구에 의한 의존을 구분할 수 있게 한다. 이는 두 가지 서로 다른 형태의 의존을 단일한 심각도 연속체로 혼동하는 기존 척도의 한계를 해결한다.
3. 실용적 유용성: LLM-D12-SP는 스페인어권의 교육, 직업 및 임상 환경에서 LLM 사용의 심리적 측면을 조사하기 위한 신뢰할 수 있는 도구를 제공한다. 이는 교차 문화적 비교를 가능하게 하며, AI 통합을 위한 증거 기반 가이드라인 개발을 지원한다.
4. 이론적 미묘함: 연구 결과는 LLM 의존이 본질적으로 기능 장애를 일으키는 것이 아니라, 신뢰 및 수용과 상관관계가 있는 특정한 형태의 의존을 나타낸다는 점을 시사한다. 인지 욕구(NFC)와의 연관성 결여는 이러한 의존이 단순히 일반적인 인지적 회피의 대리 지표가 아니라, 기술 특유의 구성 개념임을 나타낸다.

저자들은 LLM-D12-SP가 발전 중인 구성 개념에 대한 초기 조작적 정의라는 점을 언급하며 신중한 입장을 유지하고 있다. 저자들은 본 연구가 횡단적 연구이며 자기 보고 방식에 의존하고 있다는 점을 강조하며, 의존성의 시간적 안정성이나 부정적 결과와의 직접적인 인과 관계를 추론하는 데 한계가 있음을 명시한다. 본 논문은 LLM-D12-SP를 향후 연구에서 어떤 조건 하에 LLM 의존이 부적응적으로 변할 수 있는지 결정하기 위한 기초적인 도구로 위치시킨다.