Controlling Reading Ease with Gaze-Guided Text Generation

기술 요약: 시선 유도형 텍스트 생성을 통한 독해 용이성 제어

문제 정의
생성된 텍스트의 가독성을 제어하는 것은 제2외국어 습득부터 의사소통 장애가 있는 개인을 위한 접근성 지원에 이르기까지 다양한 응용 분야에서 매우 중요합니다. 대규모 언어 모델(LLM)은 프롬프팅이나 미세 조정을 통해 텍텍스트 적응에 적용되어 왔으나, 이러한 방법들은 종면성이 부족하고 정밀한 제어가 어려워, 결과물이 원하는 가독성 수준과 일치하지 않는 경우가 빈번합니다. 기존의 접근 방식들은 특정 인지 처리 부하를 향해 생성을 유도하기 위한 직접적이고 해석 가능한 신호를 제공하는 데 어려움을 겪고 있습니다.

방법론
저자들은 안구 추적 데이터를 디코딩 과정에 통합함으로써, 특정 읽기 행동(예: 읽기 시간의 증가 또는 감소)을 유도하도록 LLM 출력을 조절하는 시선 유도형 텍스트 생성 프레임워크를 제안합니다. 이 시스템은 두 가지 단방향 모델의 앙상블로 작동합니다:

1. 언어 모델 (LM): 사전 학습된 지시어 튜닝 LLM(Llama 3.2, 30억 파라미터)으로, 이전 문맥을 바탕으로 다음 토큰의 확률 분포를 생성합니다.
2. 시선 모델 (Gaze Model): 후보 토큰 시퀀스에 대한 집계된 안구 추적 측정치(구체적으로 단어 수준의 첫 통과 읽기 시간, FPRT)를 예측하도록 미세 조정된 GPT-2 모델(1억 2,400만 파라미터)입니다.

디코딩 메커니즘
본 방법은 스코어 재순위화(re-ranking) 메커니즘을 통해 표준 빔 서치(beam search) 디코딩 과정을 수정합니다:

• LM은 상위 $k$개의 후보 토큰(여기서 $k=8$)을 생성합니다.
• 시선 모델은 각 후보 시퀀스에 대한 FPRT를 예측합니다.
• 사용자가 정의한 시선 가중치($w$)가 시선 점수에 적용됩니다.
• 토큰에 대한 최종 총점은 다음과 같이 계산됩니다:
  $$\text{Total Score} = \text{Token Log Probability} + (w \times \text{Normalized Gaze Score})$$
• 양(+)의 시선 가중치는 더 긴 읽기 시간을 유발할 것으로 예측되는 토큰을 선호하며, 음(-)의 가중치는 더 짧은 읽기 시간을 가진 토큰을 선호합니다. 가중치가 0이면 시선 유도가 비활성화됩니다.

LM과 시선 모델(서브워드 단위로 작동) 간의 토큰화 불일치 문제를 해결하기 위해, 저자들은 빔 서치를 사용합니다. 이를 통해 시스템은 시선 모델의 토큰화가 안정화됨에 따라 부분적인 단어 예측을 "수정"할 수 있으며, 신뢰할 수 없는 서브워드 점수에 의존하는 것을 방지합니다.

주요 기여

1. 새로운 제어 메커니즘: 추론 시점에 LLM 텍스트 생성을 가이드하기 위해 안구 추적 데이터를 직접적인 신호로 사용하는 방법을 도입하였으며, 이는 전체 모델 미세 조정을 피할 수 있습니다.
2. 데이터셋 공개: 본 시선 유도형 방식으로 생성된 텍스트를 포함하는 새로운 안구 추적 읽기 데이터셋과, 평가 연구에서 사용된 원시 및 가공된 안구 추적 데이터를 공개합니다.
3. 실증적 검증: 언어적 특징 추출, 안구 추적 지표, 그리고 인간의 주관적 평가를 결합한 종합적인 분석을 통해 방법의 효과를 입증했습니다.

실험 결과
저자들은 시선 가중치 $-2, 0, +2$로 생성된 이야기를 읽는 24명의 참가자(원어민 L1 12명, 비원어민 L2 12명)를 대상으로 안구 추적 연구를 수행했습니다.

• 텍스트 특성: 시선 가중치가 증가함에 따라 단어 수는 적어지되 단어 길이는 길어지고, 단어 빈도는 낮아지며(높은 Zipf 점수), 문장은 짧아지고 어휘 다양성은 높아지는 특성을 보였습니다. 극단적인 가중치($\pm 5$)에서는 반복적인 실패 모드가 나타났습니다.
• 읽기 행동: 이 방법은 읽기 시간을 성공적으로 변화시켰습니다. 양(+)의 시선 가중치는 첫 통과 읽기 시간(FPRT)을 증가시킨 반면, 음(-)의 가중치는 이를 감소시켰습니다. 이 효과는 L1과 L2 독자 모두에게 통계적으로 유의미했습니다($p < 0.001$). 다만, 그 크기는 L2 독자에게서 더 강력하게 나타났습니다.
• 언어적 동인: 통계 분석 결과, 읽기 행동의 변화는 주로 어휘 처리 특징, 특히 단어 길이와 단어 출현 빈도(친숙도)에 의해 주도되었습니다. 이러한 특징들을 통제했을 때, L1 독자에게는 시선 가중치의 효과가 유의미하지 않았으나 L2 독자에게는 여전히 유의미하게 나타났습니다. 이는 L2 독자들이 단순한 어휘 친숙도를 넘어 추가적인 처리 과제에 직면했음을 시사합니다.
• 주관적 인지: 독자들은 시선 가중치가 높은 텍스트를 더 어렵다고 인지했습니다. L2 독자의 경우 양(+)의 가중치에서 자연스러움 점수가 감소했는데, 이는 유창성 문제보다는 인지된 난이도 때문인 것으로 보입니다. 흥미로움 점수는 대체로 영향을 받지 않았습니다.
• 모델 성능: 시선 모델의 예측은 관찰된 읽기 시간과 중간 정도의 상관관계($r \approx 0.55–0.59$)를 보였으며, 출현 빈도가 낮은 단어에서 약간 더 나은 성능을 보였습니다.

의의 및 주장
본 논문은 시선 유도형 텍스트 생성이 텍스트 품질을 저해하지 않으면서도 읽기 용이성을 제어할 수 있는 효과적이고 모듈화된 효율적인 접근 방식이라고 주장합니다. 저자들은 이 방법이 인지적 노력(FPRT)과 주관적 난이도로 측정되는 객관적으로 쉽거나 어려운 텍xt로 LLM을 성공적으로 유도한다는 점을 강조합니다.

저자들은 연구 결과의 한계에 대해 다음과 같이 신중한 범위를 유지합니다:

• 관찰된 효과는 복잡한 통사적 또는 의미적 구조보다는 주로 저수준 어휘 특징(단어 길이 및 빈도)에 기인합니다. 이는 FPRT가 초기 인지 처리를 반영하는 것으로 알려진 타겟 지표라는 점 때문입니다.
• 시선 모델의 학습 데이터가 영어로만 구성되어 있어, 현재 방식은 영어에 국한됩니다.
• 본 방법은 텍스트 단순화 및 개인 맞춤형 교육 자료 제작에 유망하지만, 더 넓은 접근성 애플리케이션에 필요한 통사적 또는 담화 수준의 단순화를 현재 구현 단계에서는 완전히 다루지 못하고 있습니다.
• 본 연구에는 접근성 관련 주요 사용자 그룹(예: 특정 의사소통 장애가 있는 개인)이 포함되지 않아, 해당 맥과 관련한 직접적인 효용성에 대한 주장은 제한적입니다.

이 연구는 안구 추적 데이터를 디코딩 전략을 위한 피드백 신호로 활용하여, 특정 독자 그룹에 적응된 개인 맞춤형 텍스트 생성을 향한 기초적인 단계를 제시합니다.