Taming CATS: 지시 미세 조정 (Instruction Fine-Tuning) 과 제어 토큰을 통한 제어 가능한 자동 텍스트 단순화 (CATS) 기술 요약

이 논문은 **제어 가능한 자동 텍스트 단순화 (Controllable Automatic Text Simplification, CATS)**의 새로운 프레임워크를 제안하며, 데이터의 다양성과 평가 방법론이 모델의 성능에 미치는 결정적인 영향을 규명했습니다.

1. 연구 배경 및 문제 제기

• 배경: 자동 텍스트 단순화 (ATS) 는 복잡한 텍스트를 다양한 대상 독자를 위해 접근성을 높이기 위해 의미를 유지하면서 언어적 복잡성을 줄이는 것을 목표로 합니다. 최근 대규모 언어 모델 (LLM) 의 발전으로 사용자의 요구에 따라 복잡도 수준을 조절하는 '제어 가능한 단순화'에 대한 관심이 높아졌습니다.
• 문제점:
  • 기존 연구는 제어 가능성을 주로 디코딩 (decoding) 단계의 문제 (프롬프트 또는 추론 설정) 로 간주했습니다.
  • 그러나 실제 제어 능력은 **학습 데이터의 특성 (변동성)**과 평가 지표의 한계에 의해 크게 제약받고 있습니다.
  • 기존 데이터셋은 복잡도나 압축률 (길이) 측면에서 충분한 변이 (variation) 를 제공하지 못해, 모델이 미세한 제어 요구를 학습하는 데 실패하는 경우가 많습니다.
  • 전통적인 단순화 평가 지표 (BLEU, SARI 등) 는 목표 복잡도와의 일치도를 측정하지 못해 제어 능력을 제대로 평가하지 못합니다.

2. 방법론 (Methodology)

저자들은 **지시 미세 조정 (Instruction Fine-Tuning, IFT)**과 **이산 제어 토큰 (Discrete Control Tokens)**을 결합한 도메인 중립적 CATS 프레임워크를 제안했습니다.

• 제어 속성 (Control Attributes):
  • 가독성 (Readability): FKGL, ARI, Dale-Chall 점수 (절대적 수치 목표).
  • 압축률 (Compression): 단어 수 및 문자 수 기준의 길이 비율 (상대적 비율 목표).
• 프롬프트 및 토큰:
  • 모델의 응답 시작 부분에 <METRIC=VALUE> 형식의 제어 토큰을 삽입하여, 모델이 특정 목표 수치 (예: <FKGL=4.0>) 에 맞춰 텍스트를 생성하도록 학습시켰습니다.
  • 6 가지의 다양한 시스템 프롬프트 변형을 사용하여 과적합을 방지했습니다.
• 데이터 처리:
  • 다중 도메인: 의학 (Med-EASi), 공공 행정 (SimPA), 뉴스 (Newsela), 백과사전 (WikiLarge) 등 4 가지 도메인 사용.
  • 데이터 정제 및 분할: 학습 데이터와 평가 데이터 간의 분포 불일치를 최소화하기 위해 **FKGL 기반의 계층적 샘플링 (Stratified Sampling)**을 수행했습니다. 기존 데이터셋의 기본 분할 (native splits) 이나 무작위 분할은 분포 불일치를 유발하여 성능을 저하시킨다는 것을 발견했습니다.
  • 단조성 필터링: 단순화 과정에서 복잡도가 증가하거나 변하지 않는 인스턴스를 제거하여 '단조적 단순화' 가정을 준수하도록 했습니다.
• 모델: Llama, Mistral, Qwen 등 3 가지 모델 계열의 1B~14B 파라미터 크기의 오픈소스 LLM 을 사용했습니다.

3. 주요 실험 결과 (Results)

3.1. 데이터와 평가의 중요성

• 데이터 분포의 영향: 학습 데이터에 목표 속성의 충분한 변이가 존재해야만 모델이 제어 능력을 학습할 수 있습니다. 특히 가독성 (FKGL 등) 제어는 일관되게 학습되었으나, 압축률 (길이) 제어는 기존 데이터셋의 변이가 부족하여 성능이 낮았습니다.
• 분할 전략: 무작위 분할이나 기본 데이터셋 분할을 사용하면 학습과 평가 세트 간의 분포 불일치가 발생하여 모델 성능을 왜곡합니다. 계층적 샘플링 (FKGL 기반) 이 가장 효과적이었습니다.

3.2. 모델 크기와 성능

• 모델 크기의 비선형성: 모델 크기가 커진다고 해서 항상 제어 능력이 향상되는 것은 아닙니다 (비단조적 증가).
• 소규모 모델의 경쟁력: 1B~3B 크기의 소규모 모델도 잘 구성된 데이터와 지시 미세 조정을 통해 대형 모델과 경쟁할 수 있었습니다.
• 모델 계열별 차이: Qwen 모델은 다양한 도메인과 지표에서 가장 안정적인 성능을 보였으며, Mistral 은 특정 도메인에서 높은 SARI 점수를 기록했습니다.

3.3. 평가 지표의 한계와 제안

• 전통적 지표의 부재: SARI, LENS, BLEU 와 같은 기존 지표는 의미 보존이나 유창성은 측정할 수 있으나, **목표 제어 값 (Target Value) 과의 일치도 (Control Compliance)**를 측정하지 못합니다.
• 오차 기반 지표의 필요성: 목표 값과 모델 출력 값 간의 **평균 절대 오차 (MAE, Mean Absolute Error)**를 측정하는 것이 제어 능력을 평가하는 데 필수적임을 강조했습니다.

4. 주요 기여 (Key Contributions)

1. CATS 프레임워크 제안: 지시 미세 조정과 제어 토큰을 사용하여 오픈소스 LLM 을 다양한 가독성 및 압축 수준으로 조종 가능한 시스템으로 변환하는 효율적인 방법을 제시했습니다.
2. 데이터와 평가의 재조명: 제어 가능한 텍스트 생성의 성패가 모델 아키텍처보다는 **학습 데이터의 신호 다양성 (Signal Variability)**과 **분할 전략 (Split Strategy)**에 더 의존한다는 것을 실증했습니다.
3. 새로운 평가 관점: 단순화 품질 (SARI, LENS) 과 제어 정확도 (MAE) 를 분리하여 평가해야 함을 주장하며, 기존 지표만으로는 제어 능력을 평가할 수 없음을 보였습니다.
4. 실용적 인사이트: 가독성 제어는 잘 학습되지만, 길이 (압축) 제어는 데이터셋의 한계로 인해 어렵다는 점을 지적하고, 향후 이를 해결하기 위한 전용 데이터셋의 필요성을 제기했습니다.

5. 의의 및 결론

이 연구는 제어 가능한 텍스트 생성 시스템 개발에 있어 모델의 규모나 아키텍처 선택보다 데이터의 품질 (변동성) 과 평가 설계가 더 중요할 수 있음을 보여줍니다. 특히, 단순화 작업에서 '목표에 부합하는 생성'을 평가하기 위해 단순한 유사도 지표를 넘어 오차 기반 (Error-based) 측정이 필수적임을 강조했습니다. 이는 향후 CATS 시스템의 개발, 벤치마킹, 그리고 실제 적용 시 데이터셋 구성과 평가 방법론에 대한 신중한 접근이 필요함을 시사합니다.