🤖 machine learning

Beyond Content: Behavioral Policies Reveal Actors in Information Operations

이 논문은 사용자 활동을 순차적 의사결정 과정으로 모델링하여 안정적인 행동 정책을 식별함으로써, 데이터가 제한적이거나 합성 콘텐츠가 포함된 경우에도 더 높은 정확도와 더 빠른 탐지 성능을 달성하며 기존의 콘텐츠 기반 방식보다 악의적인 영향력 작전을 더 잘 탐지하는 플랫폼 불가지론적 프레임워크를 소개한다.

원저자: Philipp J. Schneider, Lanqin Yuan, Marian-Andrei Rizoiu

게시일 2026-07-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Philipp J. Schneider, Lanqin Yuan, Marian-Andrei Rizoiu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 거대하고 혼란스러운 디지털 광장이라고 상상해 보십시오. 수년 동안 문제 유발자(봇이나 조직적인 트롤 등)를 찾아내려던 보안 요원들은 주로 두 가지를 살펴보았습니다. 바로 사람들이 무엇을 말하는지(콘텐츠)와 그들이 누구와 친구인지(네트워크)였습니다. 이는 마치 소매치를 잡기 위해 그들의 지갑을 읽거나 주소록을 확인하는 것과 같았습니다. 하지만 최근 들어 소매치기들은 더 똑똑해졌습니다. 그들은 인공지능을 사용하여 완벽한 문장을 쓸 수 있게 되었고, 자신의 친구 목록을 숨기는 법도 배웠습니다. 이로 인해 기존의 "말을 보는" 방식은 효과가 떨어지게 되었습니다.

이 문제를 해결하기 위해, 과학자들은 다른 것을 관찰하기 시작했습니다. 바로 사람의 행동이 가진 '리듬'입니다. 이것을 하나의 춤이라고 생각해 보십시오. 비록 무용수가 의상을 바꾸거나 음악을 바꾼다 하더라도, 그들 특유의 스텝, 회전, 그리고 멈춤의 방식은 대개 그대로 유지됩니다. 컴퓨터 과학에서 이것은 '행동 정책(behavioral policy)'이라고 불립니다. 이는 누군가가 플랫폼과 상호작용하는 방식과 시점이, 그들이 실제로 말하는 내용보다 훨씬 속이기 어려운 지문이 된다는 아이디어입니다. 연구자들이 던지는 핵심 질문은 이것입니다. 우리가 그들의 가사를 읽을 수 없더라도, 그들의 춤 동작을 관찰함으로써 나쁜 녀리들을 잡아낼 수 있을까?

"콘텐츠를 넘어: 행동 정책이 정보 작전의 행위자들을 드러내다(Beyond Content: Behavioral Policies Reveal Actors in Information Operations)"라는 제목의 이 논문은 레딧(Reddit)을 실험장으로 삼아 그 질문에 대해 깊이 있게 파고듭니다. 연구진은 99개의 계정이 러시아의 인터넷 리서치 에이전시(IRA, 즉 '트롤')와 연관되어 있다고 레딧 측에서 공식적으로 분류한 계정과 수천 명의 일반 사용자('오가닉')를 포함하여 12,000명 이상의 사용자를 연구했습니다. 그들은 단순히 게시물을 읽은 것이 아니라, 모든 사용자의 이력을 마치 플레이어가 "새 스레드 시작하기", "댓글에 답글 달기", "응답 기다리기" 등의 선택을 하는 비디오 게임처럼, 일련의 결정 과정으로 취급했습니다.

연구팀은 '역강화학습(Inverse Reinforcement Learning)'이라는 영리한 수학적 기법을 사용했습니다. 당신이 숙련된 요리사가 요리하는 모습을 보고 있다고 상상해 보십시오. 당신은 레시피를 모르지만, 그가 어떻게 썰고, 젓고, 맛을 보는지 관찰함으로써 그가 따르고 있는 비밀 규칙을 추측할 수 있습니다. 연구진도 똑같은 작업을 수행했습니다. 그들은 트롤과 일반 사용자가 행동하는 모습을 관찰했고, 각 집단이 따르고 있는 '규칙서(또는 정책)'를 역설계하려고 노력했습니다. 그들은 트롤들이 매우 구체적이고 경직된 댄스 루틴을 가지고 있다는 것을 발견했습니다. 그들은 특정 시간대(예: 미국 기준 이른 아침)에 폭발적으로 게시물을 올렸고, 수많은 새로운 토론 스레드를 생성했으며, 주고받는 답글에는 거의 참여하지 않았습니다. 반면 일반 사용자들은 더 여유롭고 다양한 리듬을 가졌으며, 주로 기존의 대화에 답글을 다는 것부터 시작했습니다.

결과는 놀라웠습니다. 연구진이 이러한 '춤 동작'(행동 정책)을 기반으로 탐지기를 구축했을 때, 이는 게시물의 텍스트를 기반으로 한 탐지기보다 트롤을 훨씬 더 잘 찾아냈습니다. 가장 우수한 행동 모델은 트롤을 94.9%의 확률로 정확히 식별해 낸 반면, 텍스트 기반 모델은 91.2%에 그쳤습니다. 더욱 인상적인 점은, 행동 탐지기가 사용자의 이력 중 아주 작은 조각, 즉 단 세 번의 행동만을 보았을 때도 잘 작동했다는 것입니다. 이는 트롤의 '지문'이 텍스트 분석에 의해 포착될 만큼 충분한 양의 글을 올리기 훨씬 전, 즉 거의 즉각적으로 드러난다는 것을 시사합니다.

또한 연구진은 나쁜 녀석들이 속임수를 쓰려고 할 때 이 탐지기들이 얼마나 잘 버티는지 테스트했습니다. 그들은 트롤 계정이 '하이재킹'된 상황(실제 사람의 행동과 섞인 경우)이나 데이터가 의도적으로 노이즈와 함께 뒤섞인 시나리오를 시뮬레이션했습니다. 행동 탐지기들은 훨씬 더 탄력적이었습니다. 즉, 데이터가 지저분하더라도 여전히 상당히 잘 작동하며 우아하게 성능이 저하되는 반면, 텍스트 기반 탐지기들은 더 고전했습니다. 그러나 저자들은 이것이 마법의 해결책은 아니라고 언급했습니다. 그들은 일반 사람을 흉내 내는 데 너무 능숙하여 고급 탐지기조차 혼란에 빠뜨려 일반 사용자로 오인하게 만든 몇몇 '슈퍼 트롤'들을 발견했습니다.

요약하자면, 이 연구는 AI가 생성한 텍스트와 숨겨진 네트워크의 시대에, 조직적인 정보 캠페인을 포착하는 최선의 방법은 그들이 무엇을 말하는지 읽는 것이 아니라 그들이 어떻게 움직이는지를 관찰하는 것일 수 있음을 시사합니다. 사용자를 특정 습관을 가진 의사 결정자로 모델링함으로써, 우리는 단어만으로는 숨길 수 있는 조작의 숨겨진 패턴을 찾아낼 수 있습니다. 이 연구는 레딧과 2015~2018년이라는 특정 기간에 국한되어 있지만, 우리의 디지털 광장을 더 안전하게 지키기 위한 유망한 새로운 도구를 제공합니다. 즉, 운율(rhyme)이 아닌 리듬(rhythm)에 주목하십시오.

기술 요약: 콘텐츠를 넘어: 행동 정책을 통한 정보 작전 수행자 식별

문제 정의
온라인 영향력 작전(IO)—악의적인 행위자들이 서사를 퍼뜨리기 위해 벌이는 조직적 캠페인—의 탐지는 전통적으로 콘텐츠 분석(무엇을 게시하는가)과 네트워크 구조(누가 누구와 상호작용하는가)에 의존해 왔다. 그러나 이러한 접근 방식은 세 가지 수렴하는 요인으로 인해 점점 더 취약해지고 있다: 생성형 AI로 인한 설득력 있는 텍스트의 부상, 플랫폼의 행동 데이터 접근 제한, 그리고 규제가 덜한 환경으로의 행위자 이동이다. 더욱이 악의적인 행위자들은 콘텐츠 기반 분류기를 우회하기 위해 표면적 특징(예: 암호화된 언어)을 은폐하며 적응한다. 저자들은 콘텐츠와 네트워크 그래프는 조작되거나 제한되기 쉬운 반면, 사용자 활동의 시계열적 역학(특히 '언제' 그리고 '어떻게' 사용자가 행동하는가)은 조작하기 어려운 안정적이고 변별력 있는 신호를 인코딩한다고 주장한다. 핵심 문제는 개별 악의적 행위자(특히 조직적 조작에 가담하는 "트롤")를 교차 계정 간의 협업 신호나 콘텐츠 의미론에 의존하지 않고, 오직 그들의 추론된 행동 결정 정책(behavioral decision policies)만으로 신뢰성 있게 식별할 수 있는지 여부이다.

방법론
본 연구는 사용자 활동을 마르코프 결정 과정(MDP)을 사용하는 순차적 결정 과정으로 모델링하는 플랫폼 불가지론적 프레임워크를 채택한다.

데이터셋: 저자들은 2015년부터 2018년 사이의 Reddit 사용자 12,064명(총 3,800만 개 이상의 활동 단계 포함)을 분석했다. 양성 클래스는 Reddit의 2017년 투명성 보고서를 통해 러시아 인터넷 리서치 에이전시(IRA)와 연결된 99개의 계정으로 구성된다. 음성 클래스는 활동 수준이 매칭된 15개 서브레딧에서 샘플링된 11,965명의 유기적(organic) 사용자들로 구성된다.
상태-행동 공간 (State-Action Space): 사용자 궤적은 상태-행동 쌍으로 매핑된다.
- 상태 (12가지 유형): 사용자의 상호작용 맥락을 나타내며, 여기에는 초기 스레드(IT), 초기 루트 댓글(IRC), 감정(동의/중립/반대)이 분류된 초기 답글(IR), 참여 중인 루트 댓글(ERC), 참여 중인 답글(ER), 그리고 답글을 받는 상황(GR)이 포함된다.
- 행동 (6가지 유형): 플랫폼 기능을 나타낸다: 답글 대기(WR), 새 스레드 생성(CT), 루트 댓글 게시(RC), 그리고 감정이 분류된 답글 게시(PR).
정책 추론 (Policy Inference): 저자들은 각 사용자에 대해 행동 $a$ $a$ 를 상태 $s$ $s$ 에서 취할 확률을 나타내는 정책 $\pi(a|s)$ $π (a ∣ s)$ 를 추론한다. 이들은 표현력이 점진적으로 증가하는 세 가지 접근 방식을 평가한다:
- 경험적 정책 (Empirical Policy): 궤적에서 직접 관찰된 정규화된 상태-행동 빈도.
- 생성적 적대적 모방 학습 (GAIL): 전문가(사용자) 궤적과 생성된 궤적을 구별하도록 판별기를 훈련시켜 점유 측도(occupancy measures)를 일치시키는 데 목표를 둔다.
- 최대 엔트로피 심층 역강화학습 (Maximum-Entropy Deep IRL): 행동을 설명하는 잠재적 보상 함수를 복구하고, 퇴보적인 해를 피하도록 규제된 소프트 가치 반복(soft value iteration)을 통해 확률적 정책을 도출한다.
분류 (Classification): 추론된 정책 표현(벡터화된 $12 \times 6$ 행렬)은 지도 학습 분류기(Random Forest 및 XGBoost)의 입력값으로 사용된다.
벤치마크 및 강건성:
- 베이스라인: 동일한 사용자 궤적에서 ModernBERT-large를 사용하여 추출된 텍스트 임베딩.
- 조기 탐지: 절단된 궤적( $n=3$ 부터 전체 이력까지)에 대해 성능을 평가함.
- 노이즈 강건성: 행동을 균등 샘플로 대체하여 데이터 오염을 시뮬레이션하는 무작위 노이즈 섭동( $p$ ).
- 회피 시뮬레이션: 유기적 정책에서 트롤 정책으로 궤적이 전환되는 "계정 탈취" 시나리오( $\eta$ )를 통해 혼합된 행동 흔적에 대한 탄력성을 테스트함.

주요 결과

행동 정책의 우월성: 정책 기반 분류기는 콘텐츠 기반 베이스라인보다 일관되적으로 우수한 성능을 보였다. GAIL 기반 정책은 텍ек스트 임베딩의 **91.2%**와 비교하여 **94.9%**의 중앙값 매크로-F1을 달성했다. 모든 정책 기반 방법은 90% 이상의 중앙값 F1을 상회했다.
조기 탐지: 행동 신호는 최소한의 데이터만으로도 매우 유익하다. 단 3개의 상태-행동 쌍만 있을 때, 경험적 정책은 임베딩 베이스라인(74.2%)을 크게 앞서는 **91.4%**의 매크로-F1을 달성했다. 성능은 빠르게 안정화되는 반면( $n=10-20$ ), 콘텐츠 기반 방법은 뒤처진다.
노이즈에 대한 강건성: 무작위 섭동 하에서 정책 기반 모델은 완만하게 성능이 저하된다. 50% 노이즈( $p=0.5$ )에서도 방법론들은 80% 이상의 매크로-F1을 유지했다. 경험적 정책은 10% 노이즈에서 단 1.0포인트만 하락하여 가장 높은 안정성을 보였다.
회피에 대한 강건성: 계정 탈취 시뮬레이션에서, 탈취가 초기에 발생했을 때(낮은 $\eta$ , 즉 유기적 이력이 적음) 정책 기반 방법이 콘텐츠 기반 방법을 능가했다. 10%의 유기적 활동에서 정책 기반 분류기는 90.1% F1을 기록하여 임베딩의 88.1%보다 높은 성과를 보였다.
행동 이질성: 99개의 트롤 계정을 클러스터링한 결과 세 가지 뚜렷한 운영 스타일이 드러났다:
- 클러스터 1 (50개 계정): 스레드 생성에 특화됨(84.6%).
- 클러스터 2 (31개 계정): 루트 댓글에 특화됨(72.5%).
- 클러스터 3 (18개 계정): 유기적 사용자와 더 유사했으나 여전히 높은 스레드 생성률을 보임.
- 특정 3개의 트롤 계정은 지속적으로 유기적 사용자로 오분류되었는데, 질적 검토 결과 이들은 답글 중심의 행동을 보이는 "커버(cover)" 프로필로 기능하며, 대다수의 방송 지향적 전략과는 구별되는 특성을 보였다.

의의 및 주장
본 논문은 행동 역학이 상태-행동 궤적과 복구된 정책으로 구체화될 때, 콘텐츠가 은폐되거나 메타데이터를 사용할 수 없는 환경에서 악의적 행위자를 식별하기 위한 보완적이고 강력한 신호를 구성한다고 주장한다.

탄력성: 생성형 AI나 적대적 회피에 의해 쉽게 변경되는 콘텐츠 특징과 달리, 행동 정책은 안정적인 시간적 리듬(예: 폭발적인 포스팅 후 휴지기)과 전략적 결정 시퀀스를 인코딩하며, 이는 밑바닥의 협업 로직을 드러내지 않고는 모방하기 어렵다.
플랫폼 불가지론: 본 프레임워크는 (Reddit이나 TikTok에서 흔히 없거나 제한적인) 팔로워 그래프에 의존하지 않고, 사용자-플랫폼 상호작용의 내재적 구조를 활용한다.
실용적 유용성: 매우 짧은 궤적(단 3개의 행동만으로도)으로부터 악의적 행위자를 탐지할 수 있는 능력은 온라인 게시물의 짧은 주의 집중 수명을 고려할 때 조기 개입을 가능하게 하여 매우 중요하다.
한계점: 저자들은 본 연구가 Reddit의 구조적 역학 및 2017년 투명성 보고서 레이블에 특화되어 있음을 인정한다(이는 불완전하거나 편향될 수 있음). 또한 모델이 이벤트 인덱스 방식이지만, 상태 공간에서 시간(대기 시간)을 명시적으로 모델링하지는 않으나, 행동 시퀀스를 통해 타이밍 차이가 포착된다고 언급했다. 마지막으로, 일부 트롤은 유기적 행동을 모방할 수 있으며, 이는 탐지 시스템의 특정 실패 모드를 나타낸다고 강조했다.

저자들은 행위자가 '무엇을' 게시하는가뿐만 아니라 '어떻게' 행동하는지를 모델링하는 것이 기존 탐지 시스템을 보완하는 데 필수적이며, 행동, 텍리, 메타데이터를 결합한 미래의 하이브리드 파이프라인을 촉진한다고 결론짓는다.

유사한 논문