기술 요약: 계산적 프로파간다를 통한 사전 학습 데이터 오염 가능성

문제 정의

언어 모델(LM)은 인간이 수동으로 검토할 수 있는 능력을 초과하는 방대하고 이질적인 웹 규모의 데이터셋으로 학습됩니다. 이러한 규모는 악의적인 행위자가 허위 주장 생성이나 유해한 요청에 대한 응답과 같은 유해한 행동을 유도하기 위해 적대적 콘텐츠를 주입할 수 있는 취약성을 만듭니다. 이전 연구들은 특정되고 제한된 데이터 소스(예: 위키피디아 또는 구매된 URL)에 대한 포이즈닝(poisoning) 공격을 입증했지만, 현대의 데이터셋에서 나타나는 이질적인 도메인 전반(예: Common Crawl)에 걸쳐 사전 학습 코퍼스를 대규모로 오염시키는 것이 가능한지는 여전히 불분명합니다. 또한, 기존 연구들은 데이터 큐레이션 파이프라인—특히 모델 학습에 도달하기 전 오염된 콘텐츠를 탐지하고 제거하는 웹 크롤링, 텍ек트 추출, 품질 필터링 과정—을 고려하지 못하는 경우가 많습니다.

방법론

저자들은 제3자 콘텐츠 주입(third-party content injection), 특히 공격자가 소유하지 않은 웹사이트의 공개 토론 인터페이스(예: 댓글 섹션)를 표적으로 하는 방식의 실현 가능성을 평가하기 위한 프레임워크를 제안합니다.

HALFLIFE 분석

주입된 악의적 콘텐츠가 전체 데이터 파이프라인에서 생존할 확률을 측정하기 위해, 저자들은 주입 확률을 세 가지 순차적 단계로 분해하는 새로운 분석법인 HALFLIFE를 도입합니다.

1. 주입($S_1$): 웹페이지가 주입 가능한지(즉, 인증되지 않은 게시를 허용하는 공개 토론 인터페이스를 노출하는지) 결정합니다.
2. 캡처($S_2$): 주입된 콘텐츠가 크롤러의 추출된 출력물에 나타나는지(예: 정적 HTML vs. 렌더링된 DOM) 결정합니다.
3. 생존($S_3$): 주입된 콘텐츠가 휴리스틱 필터링, 언어 식별, 품질 필터링을 포함한 표준 데이터 큐레이션 단계를 통과하는지 결정합니다.

포함 확률은 다음과 같이 계산됩니다:
$$P(\text{include} | v, S) = P(\text{injectable}) \times P(\text{captured} | \text{injectable}) \times P(\text{not filtered} | \text{captured}, \text{injectable})$$

실험 설정

• 데이터 소스: 저자들은 댓글 플랫폼을 식별하기 위해 Common Crawl(CC-MAIN-2025-51)에서 샘플링한 181,857개의 웹페이지를 분석했습니다.
• 시뮬레이션: 실제 주입 대신, 타겟 사이트(예: WordPress)의 로컬 인스턴스에 독성 콘텐츠(질문/답변 쌍)를 주입하고, 이를 Dolma 3 데이터 큐레이션 파이프라인(추출을 위한 Resiliparse 및 표준 필터링 휴리스틱 사용)을 통해 처리함으로써 공격을 시뮬레이션했습니다.
• 모델 학습: 생존한 독성의 영향을 테스트하기 위해, 저자들은 주입된 독성(0.001% ~ 0.1% 토큰 비율)이 통제된 상태로 혼합된 Dolma 3 웹 서브셋을 사용하여 계층적 모델(65M ~ 1.3B 파라미터)을 학습시켰습니다. 이 모델들을 "신념 조작(belief manipulation)" 작업(예: 특정 브랜드를 다른 브랜드보다 선호하도록 유도)에 대해 평가하고, 베이스 모델과 지시 미세 조정(SFT) 버전을 비교했습니다.
• 비교 분석: 저자들은 HALFLIFE 프레임워크의 필요성을 입증하기 위해 대안적인 벡터로서 **프로그래매틱 광고(programmatic advertisements)**를 분석했습니다.

주요 결과

1. 공개 토론 주입의 실현 가능성

HALFLIFE 분석 결과, 공개 토론 인터페이스는 실행 가능한 공격 벡터임이 드러났습니다.

• 주입 가능성: 샘플링된 페이지 중 3.4%가 탐지 가능한 댓글 플랫폼을 포함하고 있었습니다 ($P(\text{injectable}) = 0.034$).
• 캡처: 주입된 댓글의 71.9%가 텍스트 추출을 통과했습니다 ($P(\text{captured} | \text{injectable}) = 0.719$).
• 생존: 캡처된 댓글 중 47.1%가 품질 필터링을 통과했습니다.
• 엔드 투 엔드 포함: 최종 학습 코퍼스에 오염된 댓글이 나타날 계산된 확률은 **0.13%**입니다.
• 규모의 함의: 0.13%는 작아 보일 수 있지만, 이는 현대 사전 학습 코퍼스의 위키피디아 슬라이스 전체(0.067%)보다 더 큰 데이터 양을 나타냅니다. 이전 연구에서 백도어를 주입하는 데 약 250개의 오염된 문서가 충분하다고 제안된 점을 고려할 때, 공격자는 10만 개에서 100만 개의 웹페이지를 오염시키는 것만으로도 이 임계값에 도달할 수 있습니다.

2. 모델 행동에 미치는 영향

• 베이스 모델: 공개 토론 주입을 통한 포이즈닝은 모델의 완료 확률을 공격자가 선호하는 엔티티 쪽으로 명확하게 이동시켰습니다. 예를 들어, 0.1%의 독성 비율에서 베이스 모델은 깨끗한 베이스라인에 비해 오염된 엔티티에 대한 선호도가 약 20% 증가했습니다.
• 지시 미세 조정(SFT) 모델: 포이즈닝의 효과는 SFT 이후, 특히 더 큰 모델에서 감소했습니다. 독성 유지 효과는 65M 파라미터 모델의 약 40%에서 1.3B 파라미터 모델의 15% 미만으로 떨어졌습니다.
• 은밀성: "자연스러운" 형식(예: "User/Assistant"와 같은 명시적인 채팅 마커를 제거한 형태)을 사용한 주입은 베이스 모델을 오염시키는 데 여전히 효과적이었으나, SFT 후에는 규모가 커짐에 따라 그 효과가 감쇄되었습니다.

3. 프로그래매틱 광고의 불가능성

이와 대조적으로, HALFLIFE 분석은 프로그래매틱 광고가 실행 가능한 포이즈닝 벡터가 아님을 결정했습니다.

• 정적 HTML 크롤(Common Crawl의 표준)에서는 광고 콘텐츠가 존재하지 않으며, 빈 자리 표시자(placeholder)로만 나타납니다.
• 렌더링된 HTML에서 광고 콘텐츠는 일반적으로 크로스 오리진(cross-origin) iframe으로 해결되며, 이는 브라우저 보안 정책에 의해 호스트 페이지의 텍스트 레이어로부터 숨겨집니다.
• 결과적으로, 광고 콘텐츠가 텍스트 추출 파이프라인을 통과할 확률은 사실상 제로입니다.

4. 합성 재작성(Synthetic Rewriting)

저자들은 합성 데이터 재작성(품질 개선을 위해 웹 텍스트를 재구문하는 것)이 포이즌 신호를 제거할 수 있는지 분석했습니다. 그 결과, 매우 인위적인 포이즌 문자열(예: 무작위 유니코드, 반복되는 명령문)은 거의 완전히 파괴되었습니다(생존율 < 1.2%). 그러나 유창한 자연어로 작성된 신념 조작 주장은 재작성 후에도 **65.3%**의 높은 비율로 생존하였으며, 이는 자연스러운 포이즌이 품질 개선 기법에 대해 견고함을 확인시켜 줍니다.

의의 및 주장

본 논문은 제3자 웹페이지 콘텐츠를 언어 모델 사전 학습을 공격하는 중요하고 이전에 충분히 탐구되지 않은 벡터로 확립했다고 주장합니다.

• 새로운 공격 표면: 통제된 소스(예: 위키피디아)에 집중했던 이전 연구와 달리, 본 논문은 공격자가 웹의 일반적이고 개방된 인프라(공개 댓글)를 활용하여 대규모로 콘텐츠를 주입할 수 있음을 보여줍니다.
• 파이프라인 인식: 이 연구는 포이즈닝 위험을 평가하려면 전체 데이터 파이프라인을 분석해야 함을 강조합니다. HALFLIFE를 통해 크롤링과 필터링을 고려하지 않는다면, 이러한 공격의 실현 가능성을 정확하게 평가할 수 없습니다.
• 비대칭적 위험: 저자들은 이 공격 벡터가 소외된 커뮤니티나 비영어 모델에 불균형적인 위험을 초래한다고 강조합니다. 해당 언어에서 오염된 텍스트의 포화도를 달성하는 것이 더 쉬울 수 있기 때문입니다.
• 완화 방책: 현재의 데이터 큐레이션 파이프라인은 기본 콘텐츠와 사용자 제출 파편을 구분하지 않고 주로 문서 단위로 작동하므로, 이러한 공격 표면을 해결하지 못하고 있다고 지적합니다. 제안된 완화 방안으로는 댓글 인식 텍스트 추출 및 출처 인식 필터링이 있습니다.

저자들은 비록 문서당 포함 확률은 낮지만, 웹의 규모 자체가 매우 크기 때문에 대규모 포이즈닝이 실현 가능하며, 따라서 데이터 큐레이션 파이프라인에 새로운 방어 체계가 필요하다고 결론짓습니다.