AutoJourn: Multi-Perspective Summarisation, Bias Detection and Bias Neutralisation for LLM-Generated News in Automated Journalism

기술 요약: AutoJourn

문제 정의
본 논문은 책임 있는 자동 저널리즘(responsible automated journalism)의 핵심 과제, 즉 대규모 언어 모델(LLM)이 다양한 관점을 하나의 서사로 단순화하거나 소스 데이터 또는 학습 신호에 존재하는 미묘한 편향을 재생산하는 경향을 다룹니다. 자동 저널리즘은 확장성을 제공하지만, 기존의 자연어 처리(NLP) 도구들은 종종 고립되어 작동합니다. 예를 들어, 요약 시스템은 경쟁하는 관점들을 하나의 "중립적인" 설명으로 병합하는 경향이 있으며, 편향 탐지 도구는 엔드 투 엔드(end-to-end) 뉴스 생성 워크플로우에 통합되는 경우가 드뭅니다. 결과적으로, 현재의 파이프라인은 파편화되고 양극화된 소셜 미디어 토론에서 추출된 데이터를 바탕으로, 다각적 관점을 드러내고, 관점 인지형 기사를 생성하며, 결과 텍스트의 편향을 평가하는 기능을 지원하지 못하고 있습니다.

방법론
저자들은 다각적 관점 추출, 요약, 제어된 뉴스 생성, 그리고 편향 평가를 연결하는 통합된 엔드 투 엔드 데모 시스템인 AutoJourn을 제시합니다. 시스템 파이프라인은 다음과 같이 작동합니다:

1. 입력 및 토픽 모델링: 원시 소셜 미디어 토론(예: Reddit 스레드)이 주어지면, 시스템은 프롬프트 기반의 토픽 모델링 파이프라인을 사용합니다. 구조화된 제로샷(zero-shot) 프롬프트를 사용하여, LLM은 상위 5개의 의미론적으로 일관된 토픽을 식별하고, 각 토픽의 비율을 추정하며, 대표 키적인 단어들을 나열합니다.
2. 다각적 관점 추출: 시스템은 각 토픽에 대한 뚜렷한 관점(찬성/반대 입장)을 추출합니다. 이는 간결하고 기준에 근거한 정당성을 생성하도록 프롬프트가 설계된 GPT-4o 모델을 통해 수행됩니다. 다양성과 근거를 강화하기 위해, 시스템은 선택적으로 검색 증강 생성(RAG) 메커리즘을 활용하여, TF-IDF와 문장 임베딩 재순위화(reranking)를 통해 의미론적으로 관련된 문서를 검색함으로써 추가적인 논증적 맥락을 제공합니다.
3. 다각적 관점 요약: 추출된 관점들은 세 가지 유형의 요약으로 변환됩니다:
   • 입장별 요약(Stance-specific): "찬성"과 "반대" 입장에 대한 별도의 요약입니다.
   • 병합 요약(Merged): 두 관점을 중립적인 언어로 합성하는 균형 잡힌 요약으로, 양측의 의견을 동등하게 반영하고 감정적인 표현을 제거하면서 양측의 증거를 포함하는 것을 강조합니다.
4. 뉴스 기사 생성: 선택된 토픽과 그에 대응하는 병합된 다각적 관점 요약을 조건으로 전체 뉴스 기사가 생성됩니다. 시스템은 GPT-4o를 사용하여 이러한 요약들을 일관된 서사로 확장하며, 이를 통해 균형 잡히거나 중립적인 기사를 생성할 수 있도록 합니다.
5. 편향 탐지 및 중립화:
   • 탐지: 문장 수준의 편향 분석 모듈은 BABE 데이터셋으로 미세 조정된 RoBERTa 분류기를 사용하여 편향된 문장을 탐지하고 편향 확률을 할당합니다. 보완적인 분류기(GusNet)는 편향 유형(정치적, 인구통계학적, 사회경제적)을 분류합니다.
   • 중립화: 두 단계의 완화 파이프라인을 통해 편향된 문장을 다시 작성합니다. 먼저, 미세 조정된 인코더-디코더 모델(BART 또는 T5)이 문장을 중립적인 형식으로 재작성하려고 시도합니다. 만약 이 단계가 실패하면, 폴백(fallback) GPT 기반 재작성이 트리거됩니다.

주요 기여

• 통합 프레임워크: AutoJourn은 관점 추출, 다각적 관점 요약, 제어된 뉴스 생성, 그리고 편향 평가를 단일 데모 가능한 시스템 내에서 결합하여 운영하는 최초의 프로토타입으로 제시됩니다.
• 대화형 인터페이스: 시스템은 사용자가 관점 클러스터를 검사하고, 입장별 요약을 비교하며, 뉴스를 생성하고, 편향 인지형 재작성을 직접 적용할 수 있는 사용자 인터페이스를 제공합니다. 여기에는 편향된 문장을 신뢰 점수와 함께 하이라이트하고 중립화된 대안을 삽입하는 기능이 포함되어 있습니다.
• 포괄적 보고: 시스템은 소스 대화, 추출된 관점, 요약, 생성된 기사, 편향 주석 및 중립화된 버전을 종합한 전체 PDF 보고서를 생성합니다.

결과
시스템은 네 가지 축에 걸쳐 내재적 지표를 사용하여 평가되었습니다:

• 관점 추출: SocialChem-101 및 CMV 데이터셋을 사용하여 의미론적 다양성 지표(쌍별 코사인 거리)로 평가되었습니다. GPT-4o 변형 모델들이 보고된 모델 중 가장 높은 의미론적 다양성 점수를 기록했습니다. 흥s로운 점은, RAG가 증강된 변형 모델이 설계된 프롬프트 단독 방식보다 약간 낮은 원시 다양성을 보였다는 것이며, 이에 따라 저자들은 데모에서 프롬프트 전용 방식을 사용했습니다.
• 요약: 충실도(faithfulness)와 커버리지(coverage)에 대해 "LLM-as-judge" 프로토콜을 통해 평가되었으며, 표면적 유창성 점수(Grammarly)도 측정되었습니다. 병합된 요약은 입장별 요약보다 유창성이 약간 낮았으나, 이는 균형 잡힌 표현을 보장하기 위해 수용된 트레이드오프입니다.
• 편향 탐지: 시스템은 기존 탐지기를 통합하여 생성된 기사에 대해 투명하고 해석 가능한 편향 맵을 제공합니다.
• 편향 중립화: 홀드아웃(held-out) WNC 분할 및 BABE 및 생성된 뉴스 테스트 세트를 통해 평가되었습니다. BART + LLM 폴백 파이프라인은 어휘 유사성(ROUGE-L ≈ 0.96)의 미미한 저하만을 동반하면서 가장 높은 편향 감소율(91.5%)을 달-성하여, 어려운 사례에 대한 폴백 메커니즘의 유용성을 확인했습니다.

의의 및 주장
본 논문은 AutoJourn이 뉴스 생산에서 LLM의 보다 투명하고 사회적으로 책임 있는 애플리케이션을 향한 실질적인 경로를 제공한다고 주장합니다. 해석 가능성, 관점의 다양성, 그리고 편향 완화를 결합함으로써, 이 시스템은 사용자가 소스 토론으로부터 생성된 서사로 어떻게 관점이 전파되는지 추적하고, 명시적인 모델 기반 분석을 통해 해당 서사의 편향을 평가할 수 있게 합니다. 저자들은 이 연구를 모든 하위 모듈에 대한 결정적인 벤치마크가 아니라, 책임 있는 자동 저널리즘을 탐구하는 데 있어 저널리스트와 연구자를 지원하기 위해 이러한 구성 요소들을 어떻게 공동으로 통합할 수 있는지 보여주는 데모로서 포지셔닝합니다. 시스템은 재현성과 추가 연구를 촉진하기 위해 라이브 상태의 공개 접근 가능한 데모로 제공됩니다.