Propaganda Forensics: Recovering the Generation Pipeline of an AI-Driven Influence Campaign

현대의 정보 환경에는 인공지능의 급격한 발전에서 비롯된 새로운 종류의 소음이 등장했습니다. 인간과 유사한 텍스트를 생성할 수 있는 강력한 컴퓨터 시스템인 거대 언어 모델은 산업적 규모로 뉴스 기사를 제작할 수 있는 장벽을 낮추었습니다. 이러한 도구들은 흔히 그 유용성 덕분에 찬사를 받기도 하지만, 이중적인 성격을 지니고 있습니다. 즉, 기존의 이야기를 여론을 조작하기 위해 설계된 형태로 재구성하는 데 사용될 수 있다는 점입니다. 때때로 "슬로파간다(slopaganda)"라고 불리는 이 현상은 실제 뉴스를 가져와 특정한, 종종 오해의 소지가 있는 서사에 맞게 재형성하는 것을 포함합니다. 연구자들의 과제는 더 이상 명백한 거짓을 찾아내는 것이 아니라, 진정한 저널리즘과 알고리즘에 의해 변형되어 마치 진짜처럼 보이도록 만들어진 콘텐츠를 구별하는 것입니다. 이 조작이 어떻게 작동하는지 이해하기 위해, 과학자들은 텍-텍스트를 생성하는 기계가 남긴 디지털 지문을 조사하는 법의학 분석가처럼 행동해야 합니다.

소르본 대학교와 에어버스(Airbus)를 포함한 기관의 연구진은 최근 'Storm-1516'으로 알려진 특정 대규모 영향력 캠페인에 주목했습니다. 프랑스 청중을 대상으로 했던 이 작전은 Le Monde나 France Télévisions와 같은 합법적인 뉴스 매체를 사칭하는 84개의 웹사이트 네트워크를 운영했습니다. 이 사이트들은 표준적인 뉴스처럼 보이는 수천 개의 기사를 게시했지만, 실제로는 친러시아적 서사를 퍼뜨리기 위한 조직적인 노력의 일부였습니다. 연구진은 이 2,646개의 기사를 모아 'PROPAGIA'라는 새로운 컬렉션을 명명했습니다. 무엇이 이 텍스트들을 실제 저널리즘과 다르게 만드는지 이해하기 위해, 연구진은 동일한 기간 동안 작성된 프랑스의 주요 일간지 Ouest-France의 인간 작성 기사 2,385개로 구성된 대조군과 비교했습니다. 목표는 텍스트가 기계에 의해 작성되었는지 여부를 밝히는 것뿐만 아니라, 기계에 주어진 구체적인 지시 사항을 파악하고, 책임이 있는 인공지능 모델의 계열을 식별하는 것이었습니다.

조사의 첫 번째 단계는 글의 스타일과 어조를 분석하는 것이었습니다. 연구진은 PROPAGIA 컬렉션의 기사들이 인간이 쓴 기사보다 훨씬 더 모호하고 주관적이라는 사실을 발견했습니다. 실제 기자가 일반적으로 구체적인 출처를 인용하거나, 전문가의 이름을 언급하거나, 구체적인 세부 사항을 제공하는 반면, AI 생성 텍스트는 일반적인 진술과 감정적인 언어에 크게 의존했습니다. 또한 선전 기사들은 훨씬 더 부정적이었으며, 사건에 대해 공포나 과장을 조성하는 경우가 많았습니다. 이들은 외부의 목소리를 훨씬 적게 인용했으며, 검증 가능한 사실 대신 저자의 독자적인 주장을 대체했습니다. 이러한 패턴은 사실 보도를 의견으로 대체하려는 의도적인 전략을 시사하며, 이는 콘텐츠를 팩트 체크하기 어렵게 만들고 감정적 조작에 사용하기 쉽게 만드는 기술입니다.

기계 개입의 가장 직접적인 증거는 놀랍게도 텍스트 자체에서 나왔습니다. 84개의 웹사이트 중 50개에서 연구진은 인공지능이 자신의 지시 사항 일부를 실수로 남겨두었다는 것을 발견했습니다. 이러한 "유출"은 게시된 기사 내에 삽입된 노트나 체크리스트 형태로 나타났으며, 운영자가 기계에 내린 정확한 명령을 드러냈습니다. 한 문서에는 다른 매체의 언급을 피하고, 특정 정치 지도자를 비난하며, 러시아 대통령을 긍정적으로 묘사하도록 모델에 지시하는 10가지 편집 사양 목록이 포함되어 있었습니다. 이 지시 사항들은 텍스트에서 보이는 패턴들을 설명해 주었습니다. 즉, 출처의 부재, 부정적인 어조, 특정한 정치적 편향성은 무작위적인 오류가 아니라 엄격하고 자동화된 레시피의 결과였습니다. 이러한 유출의 존재는 해당 콘텐츠가 단순히 편향된 인간에 의해 쓰인 것이 아니라, 엄격한 규칙 세트를 따르는 기계에 의해 생성되었음을 확인시켜 주었습니다.

어떤 특정 유형의 인공지능이 사용되었는지 결정하기 위해, 연구진은 서로 다른 모델들이 텍스트에 어떻게 반응하는지를 테스트하는 방법을 사용했습니다. 연구진은 여러 가지 서로 다른 AI 시스템에 기사를 다시 쓰게 하여, 각 시스템이 원래의 문구를 얼마나 많이 변경하는지 관찰했습니다. 그 논리는 만약 AI 모델이 원래 텍스트를 작성했다면, 인간이 쓴 텍스트를 다시 쓰라고 요청받았을 때와 비교하여 자신의 작업을 크게 변경할 가능성이 낮을 것이라는 점이었습니다. 결과는 명확한 패턴을 보여주었습니다. 정보 기관들이 캠페인 배후에 있다고 의심하는 모델들, 특히 Llama 3 계열의 모델들이 선전 기사를 가장 적게 수정했습니다. 흥로하게도, Mistral 계열의 모델들도 유사한 패턴을 보였는데, 이는 캠페인이 관련 기술을 혼합하여 사용했거나 이 서로 다른 모델 계열들이 근본적인 특성을 공유하고 있음을 시사합니다.

연구는 Storm-1516 캠페인이 생성형 AI 파이프라인을 활용하여 선전물을 대량 생산하는 정교한 작전이었다고 결론지었습니다. 모호함의 징후를 분석하고, 유출된 지시 사항을 찾으며, 서로 다른 모델들이 콘텐츠를 어떻게 다시 쓰는지 테스트함으로써, 연구진은 생성 과정을 재구성할 수 있었습니다. 연구진은 캠 времена이 실제 뉴스의 스타일을 모방하면서도 부정적이고 출처가 없는 서사를 강요하기 위해 특정 지시 세트를 사용했음을 발견했습니다. 연구진이 정확한 단일 모델을 특정할 수는 없었지만, 그들의 증거는 Llama 3 모델 계열이 이 작전의 중심이었으며, 잠재적으로 Mistral 모델들과 함께 사용되었음을 강력하게 시사했습니다. 이러한 법의학적 작업은 단순한 탐지를 넘어 조작이 어떻게 설계되는지에 대한 메커니즘을 이해함으로써, 향후 발생할 수 있는 AI 기반 영향력 캠페인을 탐지하고 이해하기 위한 청사진을 제공합니다.