기술 요약: TF1-EN-3M

문제 제기

도덕적 이야기 (우화) 는 가치를 전달하는 검증된 매체이지만, 현대 자연어 처리 (NLP) 는 일관된 서사와 명시적 도덕 교훈을 결합한 대규모 구조화된 코퍼스를 결여하고 있습니다. 기존 고전 컬렉션 (예: 이솝 우화) 은 데이터 기반 모델링에는 너무 작으며, 현재 생성되는 합성 데이터는 도덕적 추론 작업에 필요한 특정 구조적 엄격함이 종종 부족합니다. 또한, 독점 거대 모델이나 비싼 API 기반 평가 인프라에 의존하지 않고도 소비자 하드웨어에서 실행되는 소형 오픈 가중치 언어 모델 (LLM) 이 고품질의 교훈적 서사를 신뢰성 있게 생성할 수 있는지 확인해야 할 필요성이 있습니다.

방법론

1. 프롬프트 설계 및 데이터 생성

저자들은 3,000,000 개의 고유한 영어 우화를 생성하기 위한 결합형 프롬프트 엔진을 개발했습니다. 생성 과정은 서사 이론에서 유래한 여섯 개의 슬롯으로 구성된 구조에 의존합니다:

• 캐릭터: 주인공 (예: 동물 또는 인간 원형).
• 특성: 정의하는 속성 (예: 탐욕스러운, 친절함).
• 배경: 맥락적 장소.
• 갈등: 중심적인 도전이나 딜레마.
• 해결: 도덕적 판단을 보여주는 결과.
• 교훈: 명시적 도덕적 교훈.

입력 공간은 각 슬롯에 대해 큐레이션된 목록의 카테시안 곱 ($T = n \times m \times k \times c \times r \times l$) 으로 정의되며, 각 매개변수는 100 가지 옵션으로 설정되었습니다. 품질을 보장하기 위해 시스템은 다음을 적용합니다:

• 시스템 메시지: 톤, 대상 독자 (4~7 세 대상), 구조에 대한 특정 제약 조건을 포함하여 도덕적 우화 작성 작업으로 과업을 프레임합니다.
• 스타일적 제약: "보여주고 말하지 않기", 캐릭터 이름 생략, 단순한 어휘 사용, 간결한 길이 (~250 단어) 유지에 대한 지시사항.
• 샘플링 안전장치: 중복 제거를 통한 균일 무작위 샘플링, 일반적인 짝짓기에 대한 빈도 필터링, 각 슬롯이 균등하게 나타나도록 하는 커버리지 균형 조정.

2. 평가 프레임워크

최적의 생성기를 선택하기 위해 저자들은 1B 에서 32B 파라미터에 이르는 10 개의 오픈 가중치 지시 튜닝 LLM 을 다면적 파이프라인을 사용하여 평가했습니다:

• 다중 판정자 LLM 패널: 서로 다른 계열 (Granite 4.1 30B, EXAONE 3.5 32B, Granite 3.3 8B) 의 세 가지 오픈 가중치 모델이 생성된 1,000 개의 우화를 문법 및 스타일, 창의성, 도덕적 명확성, 프롬프트 준수라는 네 가지 차원에서 점수화했습니다.
• 참조 없는 지표: 자기-BLEU (다양성), Distinct-1 (어휘 풍부함), Flesch 가독성 점수 (가독성) 를 포함한 코퍼스 수준 통계.
• 연령대 분류: LLM 분류기가 각 이야기를 다섯 가지 연령대 (AE) 중 하나로 할당하여 대상 인구 통계 (47 세) 와의 정합성을 검증했습니다.
• 복합 점수: 프롬프트 준수 (0.35) 와 도덕적 명확성 (0.20) 을 우선시하고, 그 다음으로 문법, 창의성, 참조 없는 지표를 가중치하여 가중 점수 ($W_m$) 를 계산했습니다.

3. 모델 선정

Llama-3, Mistral, Qwen, Falcon, Phi 의 변형 모델을 포함한 10 개의 후보가 테스트되었습니다. Llama-3.1-Tulu-3-8B가 원시 지표를 기반으로 가장 높은 복합 점수 (0.957) 를 달성했지만, Llama-3.1-8B-Instruct가 전체 규모 생성을 위해 선정되었습니다. 이 결정은 대상 연령대와의 우수한 정합성 (출력의 92% 가 4~7 세에 적합하다고 분류됨) 과 소비자 하드웨어에서의 유리한 품질 - 비용 트레이드오프에 기인했습니다.

주요 기여

1. TF1-EN-3M 데이터셋: 300 만 개의 이야기를 포함하는 영어 합성 우화의 첫 번째 대규모 오픈 데이터셋 출시. 각 항목에는 서사, 구조화된 프롬프트, 생성 메타데이터 (토큰 수, 지연 시간, 비용, 하드웨어 사양) 가 포함됩니다.
2. 효율적인 오픈 가중치 생성: 10 억~80 억 파라미터 규모의 모델을 사용하여 고품질의 교훈적 콘텐츠를 대규모로 생성할 수 있음을 입증. 전체 코퍼스는 소비자 등급 하드웨어에서 약 405.76 달러 (우화 1,000 개당 약 0.135 달러) 에 생성되었습니다.
3. 재현 가능한 다중 판정자 평가: 서로 다른 계열의 오픈 가중치 LLM 판정자 패널과 참조 없는 지표를 결합한 완전 재현 가능한 프레임워크. 이 접근법은 독점 평가 인프라에 대한 의존성을 피하면서 자기 선호 편향을 완화합니다.

결과

• 데이터셋 품질: 최종 코퍼스는 높은 어휘 다양성 (Distinct-1 = 0.452) 과 가독성 (Flesch 가독성 점수 78.9, 5.5 학년 수준에 해당) 을 보여주어 어린 독자를 대상으로 한 타겟 오디언스와 정합됩니다. 근접 중복 검출은 결합적 접근법이 진정으로 구별되는 서사를 생성했음을 확인시켰습니다.
• 모델 성능: 현대의 78B 지시 튜닝 모델들은 품질 면에서 수렴했으며, 최상위 성능 모델 (Llama-3.1-Tulu-3-8B, Falcon3-7B-Instruct, Llama-3.1-8B-Instruct) 은 모든 축에서 높은 점수를 기록했습니다. 더 작은 모델들 (예: 1B3B) 은 저지연 응용 분야에서 강력한 잠재력을 보였습니다.
• 평가 신뢰성: 오픈 가중치 판정자 패널은 독점 판정자 (GPT-o4-mini) 와 강한 순위 순서 일치 (Kendall's $\tau$ = 0.78) 를 보여, 모델 선정 시 오픈 모델이 독점 평가 인프라를 대체할 수 있음을 검증했습니다.
• 콘텐츠 안전성: 5,000 개의 샘플에 대한 안전성 스캔 결과, 87.8% 는 플래그가 지정된 키워드가 없었습니다. 나머지 플래그가 지정된 용어들 (예: "훔치다", "싸우다") 은 친사회적 가치를 강화하는 교훈적 맥락에서 나타났으며, 심각한 콘텐츠는 발견되지 않았습니다.

중요성 및 주장

본 논문은 TF1-EN-3M 이 지시 따르기, 서사 지능, 가치 정렬, 아동 친화적 교육 AI 연구에 새로운 길을 연다고 주장합니다. 저자들은 대규모 도덕적 스토리텔링이 독점 거대 모델이나 비싼 평가 인프라를 필요로 하지 않는다고 단언합니다.

일관된 서사와 명시적 도덕적 교훈을 결합한 자원을 제공함으로써, 이 데이터셋은 다음을 가능하게 합니다:

• 우화 생성 및 도덕적 추론 평가를 위한 소형 모델의 미세 조정.
• 도덕적 콘텐츠에 대한 분류기 또는 QA 모델의 훈련.
• 서사 정렬과 상식 추론에 대한 생성 모델의 벤치마킹.

이 연구는 집중된 프롬프트 엔지니어링과 큐레이션된 파이프라인을 통해 중형 오픈 모델이 다양하고 윤리적 주제를 다룬 서사를 생성할 수 있음을 강조하며, 가치 기반 AI 를 더 접근 가능하고 사회적으로 토대 있게 만든다고 말합니다. 저자들은 명시적으로 한계를 지적하며, 이 데이터셋이 서양 우화 전통을 반영하고 복잡한 현대적 윤리적 딜레마에 대한 뉘앙스가 부족할 수 있음을 인정하며, 향후 연구는 다층적 도덕과 다양한 문화적 맥락을 탐구해야 한다고 제안합니다.