기술 요약: FrenchNews-7

문제 정의

의제 설정 연구, 다양성 감사, 종단적 토픽 분석을 포함하는 프랑스 뉴스에 대한 계산 비교 미디어 연구에는 다양한 발행사 전반에서 신뢰할 수 있게 일반화되는 분류기가 필요하다. 기존의 프랑스 뉴스 코퍼스는 단일 매체(예: Le Monde만 해당)에 국한되거나 교차 발행사 일반화를 지원하기에는 너무 협소하다. 또한, 다중 매체 생태계 내에서 텍-텍 자체만으로 편집 데스크 할당(라우팅 결정)을 복구하는 과제를 직접적으로 겨냥한 이전의 프랑스 벤치마크는 존재하지 않는다. 핵심 과제는 잠재적 토픽 분류와, Économie(경제) 및 Société(사회)와 같은 카테カテゴリ 간의 모호한 경계를 포함하는 발행사별 편집 관습을 구분하는 것이다.

방법론

데이터셋 구축: FrenchNews-7

저자는 2018년부터 2026년까지의 기간을 포괄하며 전국 일간지, 주간지, 지역 언론, 디지털 네이티브 매체, 방송 뉴스를 포함하는 13개의 프랑스 기반 프랑스어 매체로부터 87,637개의 기사로 구성된 코퍼스를 구축하였다.

• 택소노미 설계: 외부 온톨로지를 채택하는 대신, 레이블 공간은 13개 발행사의 URL 구조로부터 경험적으로 도출되었다. 저자는 최소 13개 중 10개 이상의 발행사에 존재하며 전체 출력량의 최소 3.5%를 차지하는 7개 카테고리를 식별하였다: Société(사회), Culture & Loisirs(문화 및 레저), International(국제), Politique(정치), Sport(스포츠), Économie(경제), Sciences & Technologies(과학 및 기술).
• 하이브리드 어노테이션 파이프라인:
  • Bucket A (72.2%): 74개의 규칙을 가진 룩업 테이블을 사용하여 URL 슬러그(예: /sport/, /politique/)에 기반한 결정론적 레이블링을 수행하였다.
  • Bucket B (27.8%): 모호하거나 누락된 슬러그 신호가 있는 기사(예: /idees/, /story/)의 경우, 7개 카테고리 정의, 헤드라인, 전체 본문을 포함한 제로샷 프롬프트를 사용하여 GPT-OSS-120B로 레이블을 할당하였다.
• 품질 보증: 300개의 모호한 기사에 대한 층화 표본 추출을 통해 두 명의 인간과 두 개의 LLM이 참여한 상호 검증 연구를 실시한 결과 높은 일치도를 확인하였다. 블라인드 테스트를 거친 인간 어노테이터는 저자의 레이블에 대해 0.806의 코헨 카파($\kappa$)를 달성하였으며, LLM-인간 일치도는 $\kappa = 0.766$이었다. 불일치는 경계 카테고리(Société, Économie)에 집중되었으며, 이는 이러한 모호성이 레이블링 오류라기보다 편집 관습에 내재된 것임을 시사한다.

실험 설정

연구는 학습된 4개의 분류기와 3개의 제로샷 LLM 베이스라인을 평가하였다:

1. 어휘 베이스라인: TF-IDF + 로지스틱 회귀.
2. 다국어 BERT: mBERT.
3. 프랑스 특화 모델: CamemBERT-base 및 CamemBERTav2-base (DeBERTaV3 아키텍처).
4. 제로샷 LLM 베이스라인: GPT-OSS-120B, Mistral Small 3.2, Llama-3.3-70B.

평가 프로토콜:

• In-Distribution (분포 내): 13개 학습 매체에 대한 표준 70/15/15 층화 분할.
• Cross-Publisher (Held-Out, 교차 발행사): 보지 못한 4개의 매체(Libération, BFMTV, Le Nouvel Obs, Franceinfo)로부터 추출한 2,100개의 기사로 구성된 엄격히 분리된 테스트 세트.
• 입력 조건: 전체 기사 텍스트(헤드라인 + 본문) 대 헤드라인 전용.
• 지표: 95% 부트스트랩 신뢰 구간을 포함한 Macro-averaged F1, Precision, Recall 및 Accuracy.

주요 결과

모델 성능

• 최적의 모델: 전체 기사 텍스트로 학습된 CamemBERT-base가 가장 강력한 성능을 보였으며, Macro-F1은 각각 0.847(in-distribution) 및 0.799(cross-publisher)를 기록하였다.
• 프랑스 특화 모델의 이점: CamemBERT-base는 mBERT보다 Macro-F1에서 1.4 퍼센트 포인트 더 높은 성능을 보였으며, 이를 통해 프랑스 특화 사전 학습의 가치를 정량화하였다.
• 컨텍스트 윈도우: CamemBERTav2-base는 고유의 1,024-토큰 컨텍스트를 사용할 때 CamemBERT-base와 동일한 성능을 보였으며, 이는 표준 512-토큰 절단 시 발생한 성능 격차가 아키텍처의 차이가 아닌 컨텍스트 제한의 산물임을 확인시켜 준다.
• 입력 모달리티: 모든 모델에서 전체 텍스트 입력이 헤드라인 전용 입력보다 일관되게 우수한 성능을 보였으며, 어휘 베이스라인에서 가장 큰 격차가 관찰되었다.

교차 발행사 일반화

• 일반화: 모델은 보지 못한 매체에 대해서도 Macro-F1 0.799를 유지하며 잘 일반화되었다.
• 카테고리 안정성: 성능은 카테고리에 따라 크게 달랐다:
  • 높은 안정성: Sport(F1 = 0.915), Culture & Loisirs, International은 깔끔하게 전이되었다.
  • 낮은 안정성: Économie(Recall = 0.517)와 Société(Precision = 0.577)는 상당한 어려움을 보였다.
• "천장(Ceiling)" 효과: Économie의 낮은 재현율(0.517)은 동일한 held-out 기사에 대한 블라인드 인간 어노테이터의 일치율(55%)과 밀접하게 일치했다. 이는 어려움이 모델의 용량 부족이 아니라 실제적인 편집 경계의 모호성에서 기인함을 시사한다.

LLM 비교

• 미세 조정 vs 제로샷: 미세 조정된 CamemBERT-base(Macro-F1 0.799)는 모든 제로샷 LLM 베이스라인(GPT-OSS-120B: 0.758; Mistral: 0.775; Llama-3.3: 0.771)보다 우수했다.
• Few-Shot의 한계: GPT-OSS-120B에 5-shot 또는 7-shot 예시를 제공하는 것은 성능을 실질적으로 개선하지 못했으며, 미세 조정된 베이스라인보다 낮은 수준에 머물렀다.
• 특정 약점: 미세 조정된 모델과 LLM 사이의 격차는 편집 관습을 짧은 프롬프트로 복구하기 가장 어려운 Société와 Économie에 집중되었다.

의의 및 기여

본 논문은 FrenchNews-7이 다음을 결합한 최초의 프랑스 벤치마크라고 주장한다:

1. 경험적으로 도출된 다중 발행사 택소노미.
2. 모호한 사례를 위해 LLM 어노테이션으로 보강된 발행사 고유의 URL 레이블.
3. Held-out 교차 발행사 평가 프레임워크.

저자는 이 작업을 계산 저널리즘을 위한 "편집 데스크 분류 인프라"라고 규정한다. 분류기가 다양한 매체에 걸쳐 높은 신뢰도(Macro-F1 $\approx$ 0.80)로 편집 라우팅 결정을 복구할 수 있음을 입증함으로써, 이 벤치마크는 미디어 다양성 감사를 위한 편집 섹션 할당과 같은 다운스트림 과제를 가능하게 한다. 연구는 남은 오류가 모호한 카테고리에서의 "복구 가능한 분류기 여력(headroom)보다는 편집 관습"을 반영한다는 점을 명시적으로 언급하며, 이러한 도메인에서의 자동 분류에 대한 현실적인 천장을 설정한다.

모델과 데이터셋은 프랑스 NLP 및 비교 미디어 연구의 재현성과 추가 연구를 촉진하기 위해 Hugging Face에 공개되었다.