Large Language Models Readability Classification: A Variability Analysis of Sources and Metrics

본 연구는 다양한 LLM 과 가독성 지표 간에 상당한 변동성이 존재하며, 특히 사실 확인을 위한 지면 기반 (grounding) 이 정확도는 높일 수 있으나 가독성 일관성을 해칠 수 있음을 보여줌으로써, 건강 정보 접근성을 보장하기 위해 투명하고 언어 및 지표에 민감한 평가 프로토콜의 필요성을 강조합니다.

핵심

이 논문은 **"인공지능 (AI) 이 만든 건강 정보가 얼마나 쉬운 언어로 쓰였는지"**를 조사한 흥미로운 연구입니다. 복잡한 통계와 전문 용어 대신, 일상적인 비유를 들어 쉽게 설명해 드릴게요.

🏥 핵심 주제: "정확한 정보도 이해 못 하면 소용없어요"

연구자들은 "AI 가 만든 건강 정보가 사실 (Accuracy) 만 중요하다고 생각하지만, 환자가 그걸 **이해할 수 있는 수준 (가독성)**으로 쓰였는지도 매우 중요하다"는 점을 지적합니다.

예를 들어, AI 가 "귀에 물이 차면 병원에 가세요"라고 정확히 말해도, 그 문장이 고등학생도 못 읽을 만큼 어려운 의학 용어로 가득 차 있다면 일반 환자는 그 정보를 무시하고 말겠죠.

🔍 연구는 무엇을 했나요? (두 가지 질문)

연구진은 7 개의 유명한 AI (ChatGPT, Claude, Gemini 등) 에게 "청각 건강에 대한 정보를 알려줘"라고 요청했습니다. 이때 두 가지 상황을 비교했습니다.

1. 기본 모드: AI 가 자기 머릿속 지식만 이용해 답변을 쓸 때.
2. 위키백과 모드: AI 가 신뢰할 수 있는 '위키백과' 자료를 찾아서 그 내용을 바탕으로 답변을 쓸 때.

그리고 이 답변들이 5 가지 다른 가독성 검사 도구로 측정되었습니다. (마치 학생의 성적을 5 가지 다른 시험지로 평가하는 것과 비슷합니다.)

🎭 주요 발견 1: "AI 들이 위키백과를 읽는 방식이 다릅니다" (모델 간 차이)

• 비유: 7 명의 요리사 (AI) 가 같은 레시피 (위키백과 자료) 를 보고 요리를 만들게 했다고 상상해 보세요.
  • 기본 모드: 요리사들이 각자 자기 스타일로 요리를 했을 때는, 모든 요리의 맛 (난이도) 이 비슷했습니다.
  • 위키백과 모드: 하지만 같은 레시피를 주자마자 상황이 달라졌습니다. 어떤 요리사는 레시피를 그대로 따라 해 아주 복잡한 요리를 만들고, 다른 요리사는 레시피를 쉽게 요약해서 간단한 요리를 만들었습니다.
• 결론: 같은 '신뢰할 수 있는 자료'를 사용하더라도, 어떤 AI 를 쓰느냐에 따라 만들어진 글의 난이도가 크게 달라졌습니다. 즉, "위키백과를 참고하면 무조건 좋은 글이 나온다"는 보장은 없습니다.

📏 주요 발견 2: "점수 계산기마다 결과가 다릅니다" (측정 도구 간 차이)

• 비유: 같은 학생의 시험지를 5 명의 다른 선생님 (가독성 측정 도구) 이 채점했다고 칩시다.
  • 한 선생님은 "문장이 길면 어렵다"고 점수를 낮추고, 다른 선생님은 "어려운 단어가 많으면 어렵다"고 점수를 낮춥니다.
  • 연구 결과, 같은 글이라도 어떤 측정 도구를 쓰느냐에 따라 "쉬운 글"인지 "어려운 글"인지 판정이 갈렸습니다.
• 결론: 가독성을 측정하는 도구들은 서로 호환되지 않습니다. 하나의 도구만 믿고 "이 글은 쉽다"라고 결론 내리는 것은 위험할 수 있습니다.

⚖️ 중요한 교훈: "정확함과 쉬운 말 사이의 딜레마"

이 연구가 우리에게 주는 가장 큰 메시지는 **"신뢰할 수 있는 정보를 넣으면 (위키백과 기반), 글이 더 정확해질 수는 있지만, 반대로 글이 더 어려워지거나 AI 들마다 난이도가 제각각이 될 수 있다"**는 것입니다.

• 기술적 해결책의 함정: "AI 가 위키백과를 참고하게 하면 다 해결되겠지?"라고 생각하기 쉽지만, 실제로는 이해하기 어려운 글이 만들어질 수도 있다는 뜻입니다.

💡 우리가 무엇을 해야 할까요?

1. AI 를 선택할 때 신중하게: 같은 질문을 했을 때, 어떤 AI 가 더 쉬운 말로 설명하는지 확인해야 합니다.
2. 여러 가지로 점검하기: 글의 난이도를 확인할 때 한 가지 방법만 쓰지 말고, 여러 가지 도구를 함께 써야 합니다.
3. 언어와 문맥을 고려하기: 영어로 된 글이 쉽다고 해서 포르투갈어로 된 글도 쉬운 건 아닙니다. 각 언어와 상황에 맞는 기준이 필요합니다.

🌟 한 줄 요약

"AI 가 만든 건강 정보는 '사실'만 맞으면 되는 게 아닙니다. 환자가 이해할 수 있는 쉬운 언어로 쓰였는지, 그리고 어떤 AI 를 쓰느냐에 따라 그 난이도가 어떻게 변하는지 꼼꼼히 확인해야 합니다."

이 연구는 인공지능이 우리 건강을 돕기 위해서는 단순히 '지식'을 많이 가진 것을 넘어, 사람들이 이해할 수 있는 '소통'의 기술도 갖춰야 함을 강조합니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 문맥: 의료 및 청각 건강 분야에서 생성형 AI(대형 언어 모델, LLM) 의 활용이 증가하고 있으나, 환자의 이해도를 보장하는 **언어적 접근성 (Linguistic Accessibility)**이 종종 간과되고 있습니다.
• 핵심 문제:
  1. 정확성 vs. 접근성: 기존 연구는 LLM 의 사실적 정확성 (할루시네이션 방지) 에 집중했으나, 정확한 정보라도 환자가 이해할 수 없으면 무용지물이 됩니다.
  2. 변동성 (Variability): 동일한 건강 정보를 생성하더라도 사용하는 LLM 이나 가독성 측정 지표 (Readability Metrics) 에 따라 결과의 난이도 분류가 크게 달라질 수 있는지에 대한 체계적인 분석이 부족합니다.
  3. RAG 의 역설: 사실성을 높이기 위해 위키백과 등 검증된 소스를 참조하는 '검색 증강 생성 (RAG)' 기법을 사용할 때, 오히려 텍스트의 복잡도가 불일치하여 접근성이 저하될 수 있는 위험이 존재합니다.

2. 연구 방법론 (Methodology)

이 연구는 횡단면 연구 (Cross-sectional study) 로 설계되었으며, 다음과 같은 방법론을 사용했습니다.

• 데이터셋 구성:

  • LLM 시스템: 7 개의 주요 LLM (OpenAI-ChatGPT-4o, DeepSeek-R1, Claude-3.7-Sonnet, Google-Gemini-2.0-Flash, Mistral-AI-LeChat, Maritaca-10B-Sábia3, Microsoft-Copilot) 을 평가했습니다.
  • 언어: 영어 (English) 와 포르투갈어 (Portuguese) 두 가지 언어로 실험을 수행했습니다.
  • 프롬프트: WHO 의 '저소득 및 중산층 국가를 위한 보청기 서비스 전달 접근법' 문서를 기반으로 8 개의 임상 영역 (선천성 기형, 외상, 만성 중이염 등) 에 대한 구조화된 프롬프트를 생성했습니다.
  • 조건: 두 가지 생성 조건을 비교했습니다.
    1. Baseline: 모델의 사전 학습된 지식만 활용.
    2. Wikipedia-grounded: 프롬프트를 통해 위키백과 소스를 참조하도록 지시 (RAG 시뮬레이션).
  • 총 데이터 포인트: 7 개 모델 × 8 개 프롬프트 × 2 개 조건 × 2 개 언어 × 5 개 가독성 지표 = 총 1,120 개의 데이터 포인트.

• 측정 지표 (Readability Metrics): 텍스트 복잡성을 측정하는 5 가지 표준 지표 사용.

  1. Flesch Reading Ease (FRE)
  2. Flesch-Kincaid Grade Level (FKG)
  3. Simple Measure of Gobbledygook (SMOG)
  4. Automated Readability Index (ARI)
  5. Coleman-Liau Index (CLI)
  • 참고: 언어 간 편향을 줄이기 위해 음절 기반 (SMOG) 과 문자 기반 (ARI, CLI) 지표를 혼용했습니다.

• 통계 분석:

  • 이분화 (Binarization): 가독성 점수를 '상위 (Upper, 복잡도 낮음)'와 '하위 (Lower, 복잡도 높음)'로 이분화했습니다.
  • 동질성 검정: G-test (Likelihood-ratio test) 를 사용하여 모델 간 (H1) 및 지표 간 (H2) 분류의 동질성을 검정했습니다.
  • 효과 크기: Cramér's V 를 계산하여 연관성의 강도를 측정했습니다.

3. 주요 연구 결과 (Key Results)

가. 모델 아키텍처 변동성 (H1: Model Architecture Influence)

• Baseline 조건: 7 개 LLM 간 가독성 분류가 통계적으로 **동질적 (Homogeneous)**이었습니다. 즉, 기본 대화 모드에서는 모델 간 가독성 수준이 유사했습니다.
• Wikipedia-grounded 조건: 소스 기반 생성 시 모델 간 **이질성 (Heterogeneity)**이 통계적으로 유의미하게 나타났습니다 ($p < 0.05$).
  • 동일한 위키백과 소스를 참조하더라도 모델마다 텍스트를 요약하거나 재구성하는 방식이 달라 가독성 결과가 크게 갈렸습니다.
  • 예: 영어 조건에서 GPT 는 상대적으로 쉬운 텍스트를 생성한 반면, Claude 는 매우 복잡한 텍스트를 생성했습니다.
  • 용어 정의: 저자는 이를 **'통합 변동성 (Integration Variability)'**이라고 명명했습니다.

나. 가독성 지표 변동성 (H2: Metric Homogeneity)

• 모든 조건에서 이질성: 5 개의 가독성 지표는 모든 실험 조건 (Baseline, Wikipedia, 영어, 포르투갈어) 에서 통계적으로 유의미한 불일치를 보였습니다.
• 지표의 비가환성: SMOG(음절 기반) 와 CLI(문자 기반) 등 서로 다른 알고리즘을 가진 지표들은 동일한 텍스트를 완전히 다른 난이도 등급으로 분류했습니다. 이는 가독성 지표들이 서로 대체 불가능하며, 단일 지표에 의존하는 것이 방법론적으로 위험함을 시사합니다.

4. 주요 기여 및 시사점 (Key Contributions & Significance)

1. 새로운 발견: '통합 변동성 (Integration Variability)'

   • 사실성을 높이기 위한 소스 기반 (Grounding) 작업이 오히려 모델 간 가독성 불일치를 심화시킬 수 있음을 최초로 규명했습니다. 이는 RAG 구현 방식이 모델 아키텍처에 따라 다르게 작용함을 의미합니다.

2. 지표의 비가환성 경고

   • 기존 연구에서 가독성 지표들을 상호 교환 가능하다고 가정했던 관점을 반박했습니다. 연구 결과, 지표 선택 자체가 편향의 주요 원인이 될 수 있음이 입증되었습니다. 따라서 LLM 평가 시 여러 지표를 병행하여 사용해야 합니다.

3. 의료 건강 정보 접근성에 대한 함의

   • 트레이드오프 (Trade-off): 검증된 소스를 참조하여 정확성을 높이는 것은 접근성 (가독성) 을 희생하거나 불일치를 초래할 수 있습니다.
   • 공정성: 특정 모델이 복잡한 텍스트를 생성하여 건강 문해력이 낮은 환자 집단의 접근을 방해할 수 있으므로, 모델 선정 시 가독성 기준이 필수적입니다.

4. 정책 및 평가 프로토콜 제안

   • 벤더 중립적이고 투명한 평가 기준을 마련해야 합니다.
   • 모델이나 소스 구성 (Grounding) 이 변경될 때마다 가독성 감사를 반복 수행해야 합니다.
   • 언어별 및 지표별 임계값 (Threshold) 을 설정해야 합니다.

5. 결론

이 연구는 LLM 기반 건강 정보의 품질 평가에 있어 사실적 정확성뿐만 아니라 언어적 접근성이 동등하게 중요하며, 이를 평가할 때 모델의 차이와 측정 도구의 차이가 모두 중요한 변동 요인임을 밝혔습니다. 특히 소스 기반 생성 (RAG) 은 정확성을 높일 수 있지만, 모델마다 다른 방식으로 소스를 통합하여 가독성 불일치를 초래할 수 있으므로, 체계적이고 다각적인 가독성 검증 프로토콜이 필수적입니다.