Small edits, large models: How Wikipedia advocacy shapes LLM values

기술 요약: 작은 편집, 거대한 모델

문제 정의
옹호 단체들은 대규모 언어 모델(LLM)의 훈련 데이터에 직접적인 영향을 미칠 수 있는 자원이 부족한 경우가 많으며, LLM은 점점 더 대중에게 정보를 제공하는 주요 원천이 되고 있습니다. 위키피디아가 주요 LLM 훈련 데이터셋(예: The Pile, RedPajama, Dolma)에서 비중 있게 다뤄지는 구성 요소임은 이미 확립되어 있으나, 비기술적 집단에 의한 소규모의 조직적인 편집 캠페인이 모델의 행동을 측정 가능하게 변화시킬 수 있는지에 대해서는 경험적으로 입증되지 않았습니다. 구체적으로, 본 논문은 소수의 자원봉사자 그룹(Pro-Animal Wikipedians, 이하 PAW)이 API 접근 권한, 기술적 인프라, 또는 모델 재학습 없이 단순히 위키피디아 문서에 출처가 명시된 콘텐츠를 추가함으로써, 동물 복지 주제에 대해 LLM이 논하는 방식을 변화시킬 수 있는지 조사합니다.

방법론
본 연구는 115개의 문서에 걸쳐 수행된 125개의 특정 위키피디아 편집이 미치는 영향을 추적하기 위해 세 가지의 구별되고 상호 보완적인 데이터 속성 및 영향력 추정 방법을 채택합니다.

1. 데이터셋 구축:

   • PAW 콘텐츠: 동물 착취, 지각 능력(sentience), 정치에 초점을 맞춘 115개 페이지의 125개 편집.
   • 대조군 세트:
     • 검색 속성(TrackStar)을 위한 경우: 문서의 인기나 글쓰기 품질을 통제하기 위해 PAW가 편집한 섹션과 동일한 문서 내의 비-PAW 섹션을 매칭한 36쌍의 쌍(총 72개 섹션).
     • 영향력 추정(MAGIC) 및 절제(ablation)를 위한 경우: 동물 복지 콘텐츠와 일반 텍스트를 명확히 분리하기 위해 PAW 섹션 118개를 WikiText-103에서 무작위로 추출한 118개의 청크(chunk)와 쌍을 이룸.
   • 쿼리 세트: 80개의 동물 복지 관련 쿼리(예: "Aldi의 동물 복지 정책은 무엇인가?")와 동일한 엔티티에 대한 90개의 일반 쿼리(예: "Aldi 매장은 몇 개인가?")를 부정 대조군(negative controls)으로 사용.

2. 속성 및 영향력 기술:

   • TrackStar (검색 속성): Llama 3.1 8B를 통해 구현되었습니다. 이 방법은 훈련 문서와 쿼리 사이의 그래디언트 유사도(gradient similarity)를 계산하여 문서의 의미론적 관련성에 따라 순위를 매깁니다. 이를 통해 PAW 편집이 특정 쿼리에 대해 가장 높은 속성을 가진 문서들에 과잉 대표되는지 결정합니다.
   • MAGIC (역사실적 영향력): Llama-3.2-1B에서 LoRA 파인튜닝을 사용하여 구현되었습니다. 이 방법은 문서를 제거했을 때의 역사실적(counterfactual) 영향을 추정하기 위해 훈련 과정에 역전파(backpropagation)를 적용합니다. 연구는 시드 의존적 노이즈에 대한 견고성을 확보하기 위해 다섯 개의 무작위 훈련 순서 시드(1, 7, 42, 99, 256)에 걸쳐 프로토콜을 실행하였으며, leave-subset-out 검증을 사용했습니다.
   • 파인튜닝 절제(Fine-Tuning Ablation): 두 개의 별도 Llama-3.2-1B 모델을 구축했습니다. 하나는 PAW 콘텐츠로만 파인튜닝되었고, 다른 하나는 대조군 콘텐츠로 파인튜닝되었습니다. 특정 콘텐츠 유형에 대한 성능 향상을 확인하기 위해 두 텍스트 세트에 대한 퍼플렉시티(perplexity)를 측정했습니다.

주요 결과

• TrackStar 검색 속성:

  • 동물 복지 쿼리에 대해, PAW가 편집한 섹션은 상위 5개의 가장 높은 속성을 가진 문서 중 **68%**를 차지했으며($p < 0.0001$), 이는 50%의 베이스라인을 유의미하게 초과한 수치입니다.
  • 동일한 기업에 대한 일반 쿼리의 경우, PAW 섹션은 상위 5개 중 **51.7%**를 차지했으며, 이는 확률적 우연과 통계적으로 구별할 수 없었습니다($p = 0.528$).
  • 이는 해당 영향력이 주제 특이적이며, 편집된 내용이 더 길거나 더 잘 쓰여졌기 때문이 아님을 확인시켜 줍니다.

• MAGIC 역사실적 영향력:

  • **모든 시드(5/5)**에서, 동물 복지 쿼리에 대한 상위 10개의 가장 영향력 있는 문서는 100% PAW 편집이었습니다.
  • 일반 쿼리의 경우, 상위 10개에는 4~6개의 PAW 편집만이 포함되어 확률적 베이스라인과 일치하는 모습을 보였습니다.
  • PAW의 평균 영향력은 동물 복지 쿼리에 대해 대조군보다 유의미하게 더 부정적(더 영향력이 큼)이었으며($p < 0.0001$ 모든 시드), 그 효과 크기는 일반 쿼리에 비해 6~30배 더 컸습니다.
  • 내부 검증 결과 모든 실행에서 Spearman $\rho = 1.00$을 기록했습니다.

• 파인튜닝 절제:

  • PAW 콘텐츠로 훈련된 모델은 동물 복지 텍스트에서 8.4의 퍼플렉시티를 달성했습니다(대조군 훈련 모델의 12.4 대비). 이는 32%의 개선입니다.
  • 반대로, 대조군 훈련 모델은 대조 텍스트에서 11.4의 퍼플렉시티를 달성했습니다(PAW 훈련 모델의 16.1 대비). 이는 29%의 개선입니다.
  • 교차 이득(crossover benefit)은 나타나지 않았으며, 이는 속성 신호가 특정 콘텐츠 분포의 진정한 학습을 반영함을 확인해 줍니다.

의의 및 주장
본 논문은 소규모의 조직적인 위키피디아 편집 캠페인(소수의 자원봉사자가 수행한 125개의 편집)이 언어 모델이 특정 주제를 다루는 방식을 측정 가능하고 선택적으로 형성한다는 첫 번째 경험적 증거를 제공한다고 주장합니다.

• 옹호 활동의 실용성: 저자들은 위키피디아 편집을 옹호 단체를 위한 저비용 고효율 개입책으로 제시합니다. 이는 기술적 전문성, 모델 접근 권한, 예산이 필요하지 않으며 오직 편집자의 시간만을 필요로 합니다.
• 영향력의 메커니즘: 본 연구는 LLM이 단순히 문서를 암기하는 것이 아니라, 텍스트의 분포로부터 연관 관계와 프레임을 학습한다는 것을 보여줍니다. 옹호가들은 (예: 패스트푸드 체인과 같은) 트래픽이 높은 문서에 사실적이고 정책을 준수하는 동물 복지 관련 콘텐츠를 삽입함으로써, 해당 엔티티와 복지 이슈 사이의 연관성을 모델의 지식 구조 내에서 강화할 수 있습니다.
• 프런티어 모델로의 확장성: 저자들은 실험에 더 작은 모델(1B–8B 파라미터)을 사용했으나, 그 효과는 프런티어 모델(예: GPT-4, Claude)에서도 지속되거나 더욱 강화될 것이라고 주장합니다. 그 이유는 다음과 같습니다:
  1. 위키피디아는 사전 훈련 혼합물에서 가중치가 높게 설정됩니다 (2~5배).
  2. PAW 편집은 종종 뉴스 및 산업 보고서에 의해 뒷받침되므로, 단일한 고립된 신호가 아닌 유사한 문서들의 강화된 클러스터를 생성합니다.
  3. 더 큰 모델은 훈련 사례를 보유할 수 있는 능력이 더 큽니다.
  4. 편집 내용이 트래픽이 높은 엔티티 페이지 내에 삽кси되어 있어, 모델의 광범가적인 연상 구조에 영향을 미칩니다.

논문은 이러한 편집의 신호가 현재 수백만 명의 사람들이 사용하는 모델들에 이미 "구워져(baked into)" 있으며, 이 노력을 수백 개의 편집으로 확장한다면 미래의 모델 반복 버전에도 더 큰 영향을 미칠 수 있다고 결론짓습니다.