기술 요약: 안구 추적 기반의 자동 가독성 평가 방법론에 대한 인지적 평가

문제 제기

자동 가독성 평가(Automatic Readability Assessment, ARA)는 교육, 의료, 미디어 분야에서 널리 활용되어 온 1세기 이상의 연구 영역이다. 역사적으로 ARA 방법론의 개발과 평가는 두 가지 주요 오프라인 행동 데이터 소스, 즉 독해력 테스트 성과와 텍스트 가독성 수준에 대한 인간의 등급 판정에 의존해 왔다. 그러나 이러한 접근 방식은 가독성의 핵심적인 측면인 **실시간 읽기 용이성(real-time reading ease)**을 직접적으로 측정하지 못하는 오프라인 신호를 포착한다는 한계가 있다. 읽기 용이성은 초기부터 핵심적인 구성 개념으로 제안되었으나(예: Dale and Chall 1949; Kintsch and Vipond 1979), 읽기 과정으로부터 발생하는 행동 데이터의 부족으로 인해 ARA 분야에서는 그동안 충분히 연구되지 못했다. 또한, 기존의 평가 방법들은 주제적 변이(topical variation)로 인한 텍스트 난이도와 언어적 복잡성(linguistic complexity) 사이의 엉킴 문제로 인해 어려움을 겪고 있다.

방법론

저자들은 안구 추적 데이터를 활용하여, 콘텐츠 변이를 통제하면서 가독성 점수 산출 방식이 읽기 용이성을 설명할 수 있는 능력을 정량화하는 인지적 평가 프레임워크를 소개한다.

데이터 수집

본 연구는 638명의 성인 참가자(L1 영어 화자 360명, 다양한 모국어를 가진 L2 화자 278명)로부터 얻은 370만 개 이상의 단어 토큰을 포함하는 결합 데이터셋인 OneStopL1&L2를 활용한다.

• 텍xt 자료: 데이터셋은 OneStopQA 데이터셋에서 추출한 병렬 코퍼스를 사용하며, 30개의 가디언(Guardian) 뉴스 기사로 구성된다. 각 기사는 숙련된 언어 교사들이 직관적인 단순화 방식을 사용하여 만든 원본 "상급(Advanced)" 버전과 인간이 단순화한 "초급(Elementary)" 버전이 존재한다.
• 실험 설계: 참가자들은 정보 탐색(information-seeking) 또는 이해(comprehension) 체제 중 하나에서 단락을 읽는다. 이 설계는 각 참가자가 동일한 내용의 원본과 단순화된 버전을 모두 읽게 함으로써 단순화 효과를 분리할 수 있도록 보장한다.
• 안구 추적: 데이터는 1000Hz의 EyeLink 1000 Plus를 사용하여 수집되었다.

평가 프레임워크

핵심 지표는 원본 텍스트와 단순화된 텍스트 간의 읽기 용이성 변화량을 측정하는 **읽기 촉진(reading facilitation)**이다.

• 대상 변수 (읽기 용이성): 본 연구는 처리 난이도를 나타내는 것으로 알려진 세 가지 온라인 안구 운동 지표를 측정한다:
  1. 총 주시 지속 시간 (Total Fixation Duration, TF): 단어에 대한 주시 지속 시간의 합.
  2. 건너뛰기 비율 (Skip Rate, SR): 단어를 건너뛴 비율.
  3. 회귀율 (Regression Rate, RR): 단어당 역방향 사카드(backward saccade)의 횟수.
• 평가 지표: 가독성 점수 산출 방식($M$)의 품질은 해당 방식이 예측한 원본 대 단순화 텍스트 간의 점수 차이($\Delta Score_M$)와 안구 추적 데이터에서 관찰된 동일 텍스트 쌍의 읽기 용이성 차이($\Delta ReadingEase$) 사이의 피어슨 상관계수($r$)로 평가된다.
  $$Eval_M = \text{Pearson\_corr}(\Delta Score_{M,T}, \Delta ReadingEase_{E,T})$$

평가 대상 시스템

본 프레임워크는 20가지의 저명한 가독성 점수 산출 방식을 이론적으로 근거가 있는 심리언어학적 척도와 대조하여 벤치마킹한다.

1. 전통적 공식: Flesch Reading Ease, Dale-Chall, Gunning Fog, ARI, Coleman-Liau, Flesch-Kincaid.
2. 현대적 NLP 방법: 지도 학습 모델(CML2RI, CAREC, CARES, Sentence-BERT) 및 비지도 학습 척도(Perplexity, Syntactic Log-Odds Ratio).
3. 상용 시스템: Lexile Text Analyzer 및 TextEvaluator (ETS).
4. 대규모 언어 모델 (LLMs): 학년 수준 또는 점수 기반 주석을 위해 프롬프트가 작성된 6개의 최첨단 모델(Llama 3.3, GPT-4o, GPT-5, Gemini 2.0/2.5, Claude Sonnet 4).
5. 심리언어학적 베이스라인: 기억 관련 척도(Idea Density, Integration Cost, Embedding Depth) 및 정보 이론적 척도(Surprisal, Entropy, Uniform Information Density, Pseudo Log Likelihood), 그리고 표준 단어 속성(Word Length, Word Frequency).

주요 결과

평가 결과, 현재의 ARA 방법들과 인지적 실재로서의 읽기 용이성 사이에는 상당한 격차가 있음이 드러났다.

1. ARA 방법론의 저조한 성능: 전통적 공식, 현대적 NLP 시스템, 상용 도구, 그리고 최첨단 LLM 모두 실시간 읽기 용이성 측정치와 낮거나 유의미하지 않은 상관관계를 보였다. 특히, LLM의 고도화에도 불구하고 성능의 향상 패턴이 관찰되지 않았다. 상용 시스템(Lexile, TextEvaluator)은 특히 낮은 예측력을 보였다.
2. 심리언어학적 단어 속성의 우수성: 심리언어학에서 읽기 시간을 예측하는 것으로 알려진 표준 단어 속성들이 모든 ARA 방법보다 뛰어난 성능을 보였다. "빅 3" 예측 변수인 **단어 길이(Word Length), 단어 빈도(Word Frequency), 서프라이절(Surprisal)**은 일관되게 강한 상관관계를 나타냈다.
3. 최고의 예측 인자로서의 서프라이절: 서프라이절(문맥 내 단어의 음의 로그 확률)이 전반적으로 읽기 용이성을 가장 잘 예측하는 지표로 나타났다. 이는 기억 기반 예측 변수(Idea Density, Integration Cost)나 다른 정보 이론적 척도들보다 우수한 성능을 보였다.
4. 강건성(Robustness): 이러한 결과는 다음의 경우에도 유효하다:
   • 독자 그룹 (L1 및 L2 화자).
   • 읽기 체제 (이해 vs 정보 탐색).
   • 텍스트 단위 (문장 및 단락).
   • 다양한 안구 추적 지표 (First Fixation, Gaze Duration, Reading Speed 포함).
5. 콘텐츠 통제: 콘텐츠 통제가 없는 전통적 평가(직접적인 읽기 시간 예측)는 많은 ARA 방법의 겉보기 성능을 부풀릴 수 있는데, 이는 이들이 언어적 복잡성이 아닌 주제적 난이도를 포착하기 때문이다. 콘텐츠가 통제된 접근 방식은 서프라이절, 엔트로피, 단어 길이와 같은 방법들은 안정적인 반면, 다른 방법들은 주제가 통제될 때 크게 저하됨을 보여준다.

의의 및 주장

본 논문은 거의 한 세기 동안 지속된 ARA 방법론들이 인간이 실시간으로 텍스트를 경험하는 방식을 설명하는 데 얼마나 제한적인 능력을 갖추고 있는지에 대한 첫 번째 종합적인 그림을 제공한다고 주장한다.

• 현재 방법론의 한性: 결과는 널리 사용되는 가독성 점수 산출 방식의 결정적인 한계를 강조하며, 이들이 성인의 읽기 용이성을 예측하는 데 있어 단순한 심리언어학적 단어 속성보다 열등함을 시사한다.
• 적용 시 주의 사항: 저자들은 기존의 ARA 방법론과 LLM을 가독성 점수 산출에 사용할 때, 특히 고위험 상황에서 더 큰 주의를 기울일 것을 권고한다. 이들은 인지적 부하를 정확하게 반영하지 못할 수 있기 때문이다.
• 새로운 접근 방식의 필요성: 본 연구의 결과는 실시간 읽기 경험을 더 잘 설명할 수 있는, 인지 중심의 새로운 가독성 점수 산출 접근법의 개발을 옹호한다.
• 안구 추킹의 유용성: 본 연구는 가독성 연구에서 실시간 행동 벤치마크(안구 추적)의 유용성을 강조하며, 이는 오프라인 이해도 테스트나 불연속적인 인간의 등급 판정을 대체할 수 있는 연속적이고 해석 가능한 대안을 제공한다.
• 서프라이절의 역할: 본 논문은 쉽게 계산 가능한 언어 모델을 통해 얻을 수 있는 서프라이절이 가독성을 나타내는 강력하고 단순하며 일반적인 척도로서 더 널리 채택되어야 함을 시사한다.

저자들은 본 연구가 영어, 성인 참가자, 그리고 "직관적" 인간 단순화 방식에 국한되어 있다는 점을 언급하며 결과의 일반화 가능성에 대해 겸허한 태도를 유지한다. 또한 향-후 연구로서 아동, 노인, 타 언어 및 자동화된 단순화 맥락으로의 확장이 필요함을 밝히고 있다.