Towards Empowering Consumers through Sentence-level Readability Scoring in German ESG Reports

논문 요약: 독일어 ESG 보고서의 문장 단위 가독성 점수화를 통한 소비자 역량 강화

1. 문제 정의 (Problem)

• 배경: 지속 가능성의 중요성이 커지면서 기업들은 환경, 사회, 지배구조 (ESG) 보고서를 의무적 또는 자발적으로 공개하고 있습니다.
• 핵심 이슈: 이러한 보고서가 금융 전문가뿐만 아니라 일반 소비자 (비전문가) 도 이해할 수 있도록 명확하게 작성되었는지에 대한 의문이 제기됩니다. 특히 '그린워싱 (Greenwashing)'과 함께, 보고서의 접근성 부족은 소비자가 지속 가능한 소비 결정을 내리는 것을 방해합니다.
• 연구 목표: 기존 연구가 문서 수준의 전체적인 가독성을 평가하는 데 집중했다면, 본 논문은 **독일어 ESG 보고서의 개별 문장 수준 (Sentence-level)**에서 가독성을 자동으로 평가하고, 이를 통해 소비자가 복잡한 정보를 쉽게 이해하고 필터링할 수 있도록 하는 시스템을 구축하는 것을 목표로 합니다.

2. 방법론 (Methodology)

2.1 데이터 구축 및 주석 (Data & Annotation)

• 데이터셋: 기존 'SustainEval' 공유 작업 (Shared Task) 의 독일어 ESG 보고서 발췌문 데이터를 기반으로 확장했습니다. 각 데이터 포인트는 문맥을 제공하는 3 개의 앞선 문장과 주석 대상이 되는 1 개의 타겟 문장으로 구성됩니다.
• ** crowdsourcing:** 독일어 원어민 일반인 (layperson) 을 대상으로 Prolific 및 SoSciSurvey 를 통해 가독성 주석을 수행했습니다.
• 평가 척도: "이 문장을 얼마나 잘 이해하십니까?"라는 질문에 대해 4 점 리커트 척도 (1: 전혀 이해 안 함 ~ 4: 매우 명확하게 이해함) 로 평가했습니다.
• 통계적 특징: 데이터는 가독성이 높은 문장 (점수 4) 으로 편향되어 있었으며, 주석자 간 합의 (Agreement) 는 대체로 높았으나 주관적 차이가 존재함을 확인했습니다.

2.3 모델 접근법 (Modeling Approaches)
연구팀은 세 가지 유형의 모델을 비교 평가했습니다.

1. 화이트박스 모델 (Whitebox Models - 해석 가능):

   • 구문적 특징 기반 (Syntactic Features): 문장의 문법적 구조를 기반으로 한 신경망 모델입니다.
     • 특징: 품사 (POS) n-gram(2-gram, 3-gram), 의존 트리 깊이 (Dependency Depth), 평균 의존 거리, 문장 루트의 품사, 수동태 여부, 종속절 존재 여부 등.
     • 구조: 피드포워드 신경망 (Feed-forward NN) 을 사용하여 입력 특징을 학습합니다.
   • 기존 가독성 공식 (Baselines): 문장 길이만 고려한 선형 회귀와, Flesch-Reading-Ease(독일어 버전), HKPS, LIX 등 기존 가독성 공식 점수를 XGBoost 로 집계한 모델을 베이스라인으로 사용했습니다.

2. 블랙박스 모델 (Blackbox Models - 성능 중심):

   • 전송기 (Transformer) 인코더: XLM-RoBERTa (Base 및 Large) 를 ESG 가독성 태스크에 맞게 미세 조정 (Fine-tuning) 한 회귀 모델입니다.
   • 생성형 대규모 언어 모델 (Generative LLMs): Qwen 3, Gemma 3, Llama 3 등 지시형 (Instruction-tuned) LLM 을 사용하여 프롬프트 (One-shot prompting) 를 통해 가독성을 분류하도록 유도했습니다.

2.4 평가 지표

• 오차 지표: 평균 제곱 오차 (MSE), 평균 절대 오차 (MAE).
• 순위 상관관계: Kendall τ 계수 (모델이 문장의 난이도 순위를 인간 주석자와 얼마나 잘 일치시키는지 측정).
• 추론 속도: 문장당 소요 시간.

3. 주요 결과 (Key Results)

• 가독성 인식: 독일어 ESG 보고서의 문장들은 일반적으로 원어민에게 읽기 쉬운 것으로 인식되었으나, 일부 문장은 명확하지 않았으며 평가 간 주관적 편차가 존재했습니다.
• 모델 성능 비교:
  • 가장 낮은 오차 (MSE): 소형 미세 조정된 XLM-RoBERTa (Base) 모델이 인간 주석자의 점수와 가장 유사한 수치를 예측하여 가장 낮은 오차를 보였습니다.
  • 가장 높은 순위 상관관계 (Kendall τ): **Qwen 3 (LLM)**이 가장 높은 순위 상관관계를 보였습니다. 즉, "어떤 문장이 더 쉬운가/어려운가"를 구분하는 능력은 LLM 이 가장 뛰어났습니다. 하지만 LLM 은 학습된 점수 스케일과 달라 절대적인 점수 예측 (MSE) 은较差했습니다.
  • 화이트박스 모델의 성과: 제안된 구문적 특징 기반 모델은 기존 가독성 공식 베이스라인과 유사하거나 약간 더 나은 성능을 보였으며, 추론 속도가 매우 빨랐습니다.
  • 문장 길이: 단순 문장 길이만으로는 가독성을 예측하기 어렵다는 것이 확인되었습니다.
• 모델 앙상블: 여러 모델 (구문 모델 + XLM-RoBERTa + Qwen) 의 예측을 평균 내면 성능이 미세하게 향상되었으나, 추론 속도가 느려지는 트레이드오프가 존재했습니다.

4. 주요 기여 (Key Contributions)

1. 데이터 확장: 독일어 ESG 보고서에 대한 문장 수준의 가독성 주석 (Crowdsourcing) 을 포함한 새로운 데이터셋을 구축하고 분석했습니다.
2. 모델 비교 연구: 전통적인 통계적 방법, 화이트박스 신경망, 그리고 최신 LLM(미세 조정 및 프롬프트 기반) 을 포함한 다양한 접근법을 체계적으로 비교했습니다.
3. 구문적 특징의 중요성 규명: 문장 깊이, 수동태, 종속절 등 구문적 특징이 문장 가독성 예측에 중요한 역할을 한다는 것을 실험 (Ablation study) 을 통해 입증했습니다.
4. 실용적 시사점: 소비자를 위한 ESG 정보 필터링 시스템에서, 소형 미세 조정 모델이 정확도와 속도의 균형을 가장 잘 맞춘다는 점을 제시했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 소비자 역량 강화: ESG 보고서의 가독성을 자동으로 평가하여, 일반 소비자가 복잡한 기업 보고서를 쉽게 이해하고 지속 가능한 소비 결정을 내릴 수 있도록 돕는 기술적 기반을 마련했습니다.
• 해석 가능성과 성능의 균형: 블랙박스인 LLM 은 순위 구분 능력이 뛰어나지만, 작은 크기의 미세 조정된 트랜스포머 모델이 실제 점수 예측 오차가 가장 적고 추론이 빠르다는 점을 발견했습니다. 이는 실시간 시스템 적용에 유리합니다.
• 향후 과제: 문맥 의존성 (Context-dependency) 이 가독성 판단에 미치는 영향, 개인화된 가독성 시스템의 필요성, 그리고 데이터 불균형 문제 (쉬운 문장 편향) 를 해결하기 위한 연구가 필요함을 지적했습니다.

요약하자면, 본 논문은 독일어 ESG 보고서의 가독성을 문장 단위로 정량화하기 위해 다양한 AI 모델을 실험한 결과, XLM-RoBERTa 기반의 미세 조정 모델이 인간 주석자의 판단을 가장 정확하게 예측하며, LLM 은 난이도 구분에 강점이 있음을 보여주었습니다. 이는 투명하고 접근 가능한 ESG 정보 제공을 위한 중요한 기술적 통찰을 제공합니다.