Detecting undisclosed LLM-generated content in parliamentary texts

기술 요약: 의회 텍스트 내 미공개 LLM 생성 콘텐츠 탐지

문제 제기
대규모 언어 모델(LLM)이 인간과 컴퓨터 간의 상호작용에 급격히 통합됨에 따라, 정치적 담론의 투명성에 대한 우려가 커지고 있습니다. 국제의회연합(IPU) 및 영국 정부와 같은 기관의 지침은 공공의 신뢰를 유지하고 오보나 편향의 확산을 방지하기 위해 의회 텍스트 내 AI 사용을 공개할 것을 권고하고 있으나, 이러한 공개는 공식 기록에서 거의 찾아볼 수 없습니다. 이러한 투명성의 결여는 정치인과 그 보좌진들이 동의안 및 성명서 초안을 작성할 때 AI를 어느 정도 활용하는지 평가하는 것을 어렵게 만듭니다. 더욱이, 기존의 탐지 방법은 종종 '블랙박스' 형태의 신경망에 의존하며, 이는 잘못된 비난이 평판을 해칠 수 있는 고위험 결정 상황에서 요구되는 해석 가능성이 부족합니다.

방법론
저자들은 영국의 웨스트민스터(Westminster)와 스웨덴의 리크스다그(Riksdag) 의회 텍스트에서 미공개 LLM 생성 콘텐츠를 탐지하기 위한 프레임워크를 제안합니다. 이 접근 방식은 ICON(Interpretable CONfidence-enhanced Perceptron)이라 불리는, 완전히 해석 가능한 선형 '글래스박스(glass-box)' 분류기에 기반합니다.

• 데이터 수집 및 생성:

  • 인간 작성 텍스트 (Class 0): 인간의 글쓰기에 대한 정답(ground truth)으로 사용하기 위해, 현대적 LLM 시대 이전인 2014년부터 2020년 사이에 발표된 의회 기록에서 텍스트를 추출했습니다.
  • LLM 생성 텍스트 (Class 1): 현실적인 사용 양상을 시뮬레이션하기 위해, 저자들은 2단계 프롬프팅 절차를 채택했습니다. 첫째, 인간이 작성한 텍스트를 LLM(Gemini 3.1 Flash-Lite)이 요약하도록 했습니다. 둘째, 이 요약본을 프롬프트로 사용하여 LLM(Gemini 및 GPT-5 mini)이 전체 텍스트를 생성하게 했습니다. 이를 통해 각 언어별(영국 및 스웨덴)로 1,400개의 인간 작성 텍스트와 1,400개의 LLM 생성 텍스트로 구성된 균형 잡힌 기본 데이터셋을 구축했습니다.
  • 전방 테스트 세트(Forward Test Sets): 실제 LLM 사용량을 평가하기 위해 2021년 이후에 발표된 라벨이 없는 텍스트를 수집했습니다. 2021년 초/2022년의 텍스트는 대중적인 LLM 도입 전의 허위 양성률(False Positive Rate, FP)을 측정하기 위한 홀드아웃 세트로 사용되었습니다.

• 분류 모델 (ICON):

  • 분류기는 토큰화된 텍สาร에서 추출된 n-gram 특징(unigrams 및 bigrams)을 활용합니다.
  • 이 모델은 선형 결정 함수 $s = \alpha + \sum w_i f_i$를 사용하며, 합계 $s \geq 0$인 경우 해당 텍스트를 LLM 생성(Class 1)으로 분류합니다.
  • 가중치($w_i$)와 편향 항($\alpha$)은 훈련 클래스의 특징 빈도에 따라 초기화되며, 샘플별이 아닌 전체 데이터셋에 대해 오차를 계산하는 수정된 퍼셉트론 훈련 방법을 통해 최적화됩니다.
  • 해석 가능성: 모델은 분류 합계의 크기($|s|$)를 기반으로 신뢰 점수를 제공하며, 결정의 원인이 되는 특정 단어나 bigram과 같은 구체적인 특징 기여도를 시각화할 수 있게 하여 딥 뉴럴 네트워크의 불투opacity(불투명성)를 피합니다.

• 평가 전략:

  • 연구는 두 가지 수준에서 탐지를 평가합니다: (1) 전체 의회 동의안을 단일 단위로 분류하는 것, (2) 동의안 내 개별 단락을 분류하는 것입니다.
  • 특히 단락 단위 분석에서 허위 양성을 최소화하기 위해 분류 합계에 신뢰 임계값($T$)을 적용합니다.

주요 결과

• 분류기 성능: 훈련된 분류기는 홀드아웃 테스트 세트에서 높은 성능을 보였으며, F1 점수는 영국 0.940, 스웨덴 0.969를 기록했습니다. 결정적으로, LLM 이전 시대의 텍스트에 대한 허위 양성률이 매우 낮아(영국 0.062, 스웨덴 0.043), 인간의 글쓰기를 잘못 분류하는 것에 대한 견고함을 입증했습니다.
• 미공개 사용 탐지: 전방 테스트 세트(2021~2026)에 분류기를 적용한 결과, 두 의회 모두에서 탐지된 LLM 사용량이 꾸준히 증가하는 것이 나타났습니다:
  • 전체 텍스트 탐지: 동의안 전체를 분류할 때, 탐지율은 2021년 거의 0%에서 2026년 영국 약 2.1%, 스웨덴 2025~2026년 약 6.5%로 상승했습니다.
  • 단락 수준 탐지: 개별 단락을 분석할 때 탐지율이 더 높았는데, 이는 LLM이 문서 전체보다는 특정 섹션을 생성하는 데 주로 사용됨을 시사합니다. 2026년까지 영국 동의안의 약 15.5%, 스웨덴 동의안의 약 9.4%가 LLM 생성으로 분류된 단락을 적어도 하나 이상 포함하고 있었습니다.
• 추세: 데이터는 고급 LLM의 공개적 출시와 맞물려 2022년 말/2023년부터 탐지된 사용량이 급격히 증가했음을 보여줍니다.
• 공개 여부: 탐지된 텍스트에 대해 AI 관련 키워드(예: "ChatGPT", "LLM", "AI")를 수동 검색한 결과, 해당 텍스트 중 AI 사용을 공시한 사례는 단 하나도 없음을 확인했습니다.

의의 및 주장
본 논문은 영국과 스웨덴의 의회 텍스트 내에서 미공개 LLM 사용이 증가하고 있다는 체계적인 증거를 제공하는 첫 사례라고 주장합니다. 저자들은 해석 가능한 "글래스박스" 분류기를 활용함으로써, 자신들의 연구 결과가 블랙박스 모델로부터 도출된 결과보다 고위험 정치적 맥락에서 더 방어 가능하다고 주장합니다. 왜냐서 분류의 구체적인 이유를 검사하고 시각화할 수 있기 때문입니다.

저자들은 결과가 투명성에 관한 기존의 (비록 강제 사항은 아닐지라도) 지침을 위반하고 있음을 강조합니다. 저자들은 LLM이 유용한 도구가 될 수 있지만, 미공개된 사용은 공공의 신뢰를 저해하고, 미묘한 편향을 도입하며, 잠재적으로 인간의 감독이 감소하는 "인지적 오프로딩(cognitive offloading)"을 초래할 위험이 있다고 언급합니다. 본 연구는 현재의 공개 부족이 투명성 원칙에 대한 "심각한 위반"이라고 결론지으며, 의회 절차 내에서 더 명확하고 실행 가능한 지침과 그 준수를 촉구합니다. 논문은 언어적 차이가 교차 언어적 비교 가능성에 영향을 미칠 수 있다는 점과, AI 출력물에 대한 인간의 편집이 탐지 경계를 모호하게 만들 수 있는 "회색 영역" 텍스트의 가능성과 같은 한계를 겸허히 언급하면서도, 탐지된 추세가 견고하고 통계적으로 유의미하다고 유지합니다.