LLM-Augmented Digital Twin for Policy Evaluation in Short-Video Platforms

이 논문은 플랫폼 정책, 창작자 인센티브, 사용자 행동이 상호 진화하는 숏폼 비디오 플랫폼의 복잡한 폐루프 역학을 반영하여 정책 평가와 AI 기반 정책 연구를 가능하게 하는 모듈형 4 중 디지털 트윈 아키텍처와 LLM 을 통합한 시뮬레이션 프레임워크를 제안합니다.

핵심

🎬 1. 왜 이런 시스템이 필요할까요? (현실의 문제)

숏폼 플랫폼은 마치 거대한 생태계와 같습니다.

• 플랫폼이 어떤 영상을 보여줄지 정하면,
• 크리에이터는 그걸 보고 더 좋은 영상을 만들려고 노력하고,
• 사용자는 그 영상을 보고 좋아하거나 싫어하며 반응합니다.

이 세 가지가 서로 영향을 주고받으며 끊임없이 변합니다 (피드백 고리). 문제는, 실제 앱에서 새로운 정책을 시험하면 위험하다는 점입니다.

• "오늘부터 추천 알고리즘을 바꿨더니, 갑자기 모든 사람이 화난 댓글만 남기거나, 특정 사람만 부자가 되어버리면 어떡하지?"
• AI 가 만든 콘텐츠가 갑자기 판을 흔든다면?

실제 실험은 너무 위험하고, 데이터만으로는 "만약에 (Counterfactual)"라는 가정을 검증하기 어렵습니다. 그래서 연구자들은 **"가상의 미러 월드 (Digital Twin)"**를 만들기로 했습니다.

🏭 2. 이 시스템은 어떻게 생겼나요? (4 개의 가상 공장)

이 연구팀은 플랫폼을 4 개의 서로 다른 역할로 나누어 가상 공장처럼 만들었습니다.

1. 사용자 공장 (User Twin): 수천 명의 가짜 사용자들을 만듭니다. 이들은 각자 성향 (취향, 기억력, 반응 속도) 이 다릅니다. 마치 다양한 성격을 가진 배우들이 대본을 읽는 것처럼요.
2. 콘텐츠 공장 (Content Twin): 가짜 영상들을 만듭니다. 실제 픽셀을 다 그리는 게 아니라, "유머", "요리", "댄스" 같은 **특징 (메타데이터)**으로 영상을 표현합니다.
3. 상호작용 공장 (Interaction Twin): 사용자가 영상을 보고 "좋아요"를 누르거나 스크롤을 내리는 실제 행동을 시뮬레이션합니다. "이 영상은 처음 3 초에 훅 (Hook) 이 약해서 바로 넘겨질까?"를 계산합니다.
4. 플랫폼 공장 (Platform Twin): 지휘자 역할을 합니다. 어떤 영상을 추천할지, 어떤 정책을 적용할지 결정합니다.

이 네 공장은 **전신 (Event Bus)**을 통해 서로 메시지를 주고받으며, 마치 실제 앱처럼 실시간으로 돌아가는 가상 생태계를 완성합니다.

🤖 3. AI(대형 언어 모델, LLM) 는 여기서 무슨 일을 할까요?

과거의 시뮬레이션은 너무 단순해서 "로봇처럼 행동하는 가짜 사용자"만 있었습니다. 하지만 이 시스템은 **LLM(지능형 AI)**을 적절히 섞어 현실감을 더했습니다.

• 비유: 가상의 크리에이터에게 **"지금 유행하는 노래로 댄스 영상을 찍으세요"**라고 지시할 때, AI 가 "어떤 스타일로 찍고, 어떤 해시태그를 달고, 어떤 제목을 쓸지" 창의적으로 기획해 주는 것입니다.
• 중요한 점: AI 를 무조건 다 쓰면 비용이 너무 많이 듭니다. 그래서 연구팀은 **"3 단계 비용 관리 시스템"**을 만들었습니다.
  1. 실시간 (Live): 중요한 결정만 AI 에게 맡깁니다. (비쌈)
  2. 캐시 (Cached): 똑같은 질문이면 AI 에게 다시 묻지 않고, 전에 답한 걸 가져옵니다. (중간)
  3. 대체 (Surrogate): 예산이 없으면, AI 대신 간단한 규칙 (템플릿) 으로 대신합니다. (무료)

이렇게 하면 현실적인 지능을 유지하면서도 비용을 통제할 수 있습니다.

🧪 4. 실험 결과: 무엇을 알아냈나요?

이 가상 공장에서는 실제 앱에서는 할 수 없는 실험들을 했습니다.

실험 1: 크리에이터에게 AI 도구를 줬을 때?

• 상황: 크리에이터들에게 AI 가 "어떤 영상을 찍으면 잘 될지" 계획을 세워주는 도구를 줬습니다.
• 결과:
  • 사람들이 영상을 보는 시간은 크게 변하지 않았습니다.
  • 하지만 수익 분배가 더 공정해졌습니다. AI 도구를 쓴 크리에이터들이 더 잘 팔렸고, 소수만 부자가 되는 '부익부 빈익빈' 현상이 조금 완화되었습니다.
  • 교훈: AI 도구를 잘 쓰면, 소규모 크리에이터도 기회를 얻을 수 있습니다.

실험 2: AI 가 '유행'을 미리 예측하면?

• 상황: 플랫폼이 AI 를 이용해 "다음 주에 이 해시태그가 뜰 것이다"라고 미리 예측하고, 그걸로 정책을 조정했습니다.
• 결과:
  • 유행이 뜨기 전에 미리 대비했더니, 사용자들의 체류 시간이 늘고 스킵하는 비율이 줄었습니다.
  • 중요한 건, **다양성 (다양한 주제)**은 유지되면서 품질만 좋아졌다는 점입니다.
  • 교훈: AI 가 미래를 예측하면 플랫폼이 더 건강하게 운영될 수 있습니다.

💡 5. 결론: 이 연구의 핵심 메시지

이 논문은 **"실제 앱을 망칠 위험 없이, AI 와 정책을 실험할 수 있는 안전한 놀이터"**를 만들었다고 말합니다.

• 비유: 마치 비행 시뮬레이터가 실제 비행기를 날리지 않고도 조종사 훈련과 비상 상황 대처를 연습하게 하듯, 이 시스템은 플랫폼 운영자들이 **"만약에 AI 정책을 바꾼다면?"**을 안전하게 테스트하게 해줍니다.
• 의의: 앞으로 AI 가 플랫폼을 더 많이 지배하게 될 텐데, 이 시스템은 그 변화가 사회에 어떤 영향을 미칠지 미리 예측하고, 공정하고 안전한 정책을 만드는 데 큰 도움을 줄 것입니다.

간단히 말해, **"가상의 실험실로 실제 사회의 문제를 미리 해결해보자"**는 아주 똑똑하고 실용적인 제안입니다.

기술 요약

1. 문제 정의 (Problem)

단기 비디오 플랫폼 (틱톡, 인스타그램 릴스,快手 등) 은 플랫폼 정책, 크리에이터 인센티브, 사용자 행동이 공진화 (co-evolve) 하는 폐루프 (closed-loop), 인간-인-루프 (human-in-the-loop) 생태계입니다. 이러한 구조는 생산 환경에서 정책 변경의 반사실적 (counterfactual) 평가를 어렵게 만듭니다.

• 주요 난제:
  • 폐루프 피드백: 노출이 행동을 형성하고, 그 행동이 다시 노출을 결정하는 순환적 의존성으로 인해 정책 변경의 인과적 귀속 (causal attribution) 이 어렵습니다.
  • 실험의 한계: 배포 위험, 엔지니어링 오버헤드, 동시 발생하는 제품 변경으로 인한 교란 (confounding) 으로 인해 대규모 온라인 실험이 비현실적이거나 결론을 내기 어렵습니다.
  • 윤리적 민감성: 순위, 프로모션, 콘텐츠 조정 정책은 대규모로 불공정한 노출과 사회적 결과를 초래할 수 있어 신중한 평가가 필요합니다.
  • AI 의 영향: 플랫폼이 AI 도구 (크리에이터 어시스턴트, 트렌드 예측 등) 를 도입함에 따라 피드백 루프가 가속화되고 감사 (audit) 가 어려워져 기존 평가 프레임워크로는 대응이 부족합니다.
  • 기존 시뮬레이션의 한계: 기존 에이전트 기반 시뮬레이터는 대규모 처리는 가능하지만 인간적 적응과 의미적 뉘앙스를 단순화하여 왜곡을 유발하거나, LLM 기반 에이전트는 소규모 샌드박스에서만 평가되어 전체 폐루프 공진화를 모델링하지 못합니다.

2. 방법론 (Methodology)

저자들은 단기 비디오 생태계의 폐루프 역학을 보존하면서도 재현 가능한 실험을 가능하게 하는 LLM 기반 디지털 트윈을 제안합니다.

2.1 아키텍처: 4-트윈 (Four-Twin) 구조

시스템은 네 가지 하위 시스템을 모델링하는 모듈형 트윈으로 구성되며, 이벤트 기반 실행 레이어를 통해 상호작용합니다.

1. 사용자 트윈 (User Twin): 자율적인 사용자 에이전트 군집을 모델링합니다. 인구통계학적 속성과 진화하는 잠재적 선호도 벡터 (50 차원) 를 가지며, 에빙하우스 망각 곡선과 간격 효과를 모방한 단기/장기 기억 메커니즘을 통해 선호도가 시간에 따라 진화합니다. 크리에이터는 엘리트, 활성, 캐주얼, 순수 소비자 등 파워 법칙 분포에 따라 계층화됩니다.
2. 콘텐츠 트윈 (Content Twin): 플랫폼의 비디오 코퍼스를 모델링합니다. 픽셀 단위 미디어 대신 메타데이터와 특징 벡터 (50 차원 또는 멀티모달 임베딩) 로 구성된 추상화된 프로필을 사용합니다. 생성 시 아키타입 (장르) 과 크리에이터 특성에 기반하여 정적 속성이 결정되고, 상호작용에 따라 동적 참여 상태가 업데이트됩니다.
3. 상호작용 트윈 (Interaction Twin): 단일 사용자 - 콘텐츠 만남 (encounter) 의 미시적 행동 엔진입니다. '후크 (hook)' 반응, 관심도 매칭, 확률적 시청 시간 샘플링, 참여 행동 (좋아요, 공유 등) 을 시뮬레이션하여 행동 결과를 생성합니다.
4. 플랫폼 트윈 (Platform Twin): 플랫폼 인프라와 정책 레이어를 캡슐화합니다. 거버넌스 (트렌드 추적, 확산 모니터링), 추천 (관심 기반, 트렌드 기반, 팔로우 기반 혼합), 프로모션 (단계별 노출 파이프라인) 정책을 포함하며, 정책 변경의 대상이 됩니다.

2.2 실행 레이어 및 이벤트 시스템

• 이벤트 기반 아키텍처: 23 가지 유형의 이벤트와 48 가지 액션 타입을 정의하여 트윈 간 정보 흐름을 조정합니다.
• 폐루프 시뮬레이션: 액션 (사용자 행동) 이 플랫폼 핸들러를 통해 실행되고, 결과 이벤트가 발행되어 다른 트윈의 상태를 업데이트하는 순환 구조를 가집니다.
• 반사실적 평가: 정책 컴포넌트만 교체하고 나머지 세계 상태를 고정하여 정책 변경의 영향을 격리하여 평가합니다.

2.3 LLM 통합 및 비용 거버넌스

LLM 은 시뮬레이션의 핵심 역학을 대체하지 않고, 의미적 정밀도가 필요한 부분 (페르소나 생성, 캡션 작성, 캠페인 계획, 트렌드 예측) 에 선택적으로 통합됩니다.

• 3 단계 실택 스택 (Execution Stack):
  1. Live (실시간): 예산이 허용될 때 실제 LLM API 호출.
  2. Cached (캐시): 동일한 요청에 대해 검증된 이전 결과 재사용 (재현성 및 비용 절감).
  3. Surrogate (대리): 예산 부족 시 결정론적 규칙 기반 또는 보정된 생성기로 대체.
• 비용 관리: 작업별 예산 추적 및 점진적 저하 (progressive degradation) 메커니즘을 통해 대규모 시뮬레이션의 확장성을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 디지털 트윈 프레임워크: 폐루프 피드백과 인간-인-루프 전략적 적응을 모두 포착하는 모듈형 4-트윈 아키텍처를 제시합니다.
2. 선택적 LLM 통합: 의미적 현실성을 유지하면서도 확장성을 보장하기 위해 LLM 을 비용 관리가 가능한 '서비스'로 통합하는 메커니즘을 설계했습니다.
3. 재현 가능한 정책 평가 도구: AI 기반 정책 (크리에이터 캠페인 계획, 트렌드 예측 등) 을 포함한 플랫폼 정책을 안전하게 테스트하고 평가할 수 있는 재사용 가능한 테스트베드를 제공합니다.
4. 실증적 검증: 크리에이터 경제와 거버넌스 제어 시나리오를 통해 프레임워크의 유효성을 입증했습니다.

4. 실험 결과 (Results)

두 가지 실험 세트를 통해 시스템을 평가했습니다.

실험 세트 1: LLM 기반 크리에이터 캠페인 계획

• 설정: LLM 이 생성한 3 일짜리 캠페인 계획 (주제, 해시태그, CTA 등) 을 크리에이터에게 제공하는지 여부와 채택률을 변형했습니다.
• 결과:
  • 참여도: 전체 시청 시간은 크게 변하지 않았으나, 수익화 효율성이 향상되었습니다 (평균 수익 3.6% 증가).
  • 불평등 완화: LLM 계획 도입 시 크리에이터 간 수익 불평등 (기니 계수) 이 감소하여 (0.624 → 0.584), 소수의 상위 크리에이터만 독점하는 구조가 완화되는 경향을 보였습니다.
  • 비용: LLM 사용 비용은 미미했으나 (평균 $2.28), 비용 관리 메커니즘이 효과적으로 작동했습니다.

실험 세트 2: LLM 트렌드 예측 및 플랫폼 제어

• 설정: LLM 기반 트렌드 예측기를 사용하여 플랫폼이 트렌드를 사전에 감지하고 개입 (부스팅/억제) 하는지 여부를 평가했습니다. (S0: 제어 없음, S1: 규칙 기반 반응형, S2: LLM 기반 사전 대응형)
• 결과:
  • 성능 향상: LLM 기반 사전 대응 (S2) 은 평균 시청 시간을 증가시키고 (9.656s → 9.785s), 스킵률을 낮췄습니다.
  • 다양성 유지: 콘텐츠의 의미적 다양성 (해시태그 엔트로피) 은 유지되면서 참여도가 향상되어 '필터 버블' 효과를 피했습니다.
  • 불평등 트레이드오프: 노출 집중도 (View-Gini) 는 약간 증가했으나, 이는 참여도 향상과 교환되는 트레이드오프로 분석되었습니다.
  • 비용 효율성: 트렌드 예측 기능 추가에 따른 LLM 비용은 전체 비용의 2.1% 에 불과하여 매우 효율적이었습니다.
  • 예측 능력: LLM 은 트렌드가 급등하기 전 '등장 (emergence)' 단계에서 미래 트렌드를 성공적으로 예측하여 플랫폼의 개입 타이밍을 최적화했습니다.

5. 의의 및 결론 (Significance)

이 연구는 단기 비디오 플랫폼과 같은 복잡한 AI 기반 생태계의 정책 평가를 위한 새로운 패러다임을 제시합니다.

• 안전한 실험 환경: 실제 플랫폼에 배포하기 전에 AI 기반 정책의 장기적 영향과 의도치 않은 결과 (예: 편향 증폭, 불평등 심화) 를 안전하게 시뮬레이션하고 검증할 수 있습니다.
• 확장성과 정밀도의 균형: LLM 의 의미적 정밀도와 전통적 시뮬레이션의 확장성을 결합하여, 고충실도 인간 행동 모델링을 대규모 시스템에 적용하는 방법을 제시했습니다.
• 미래 방향: 향후 더 많은 사용자 (100 만 명 규모) 를 위한 병렬 실행, 멀티모달 비디오 생성 통합, 그리고 인간-인-루프 인터페이스를 통한 상호작용적 정책 테스트로 확장할 계획입니다.

이 디지털 트윈은 플랫폼 운영자, 정책 입안자, 연구자들이 AI 시대의 복잡한 미디어 생태계를 이해하고, 더 공정하고 효율적인 정책을 수립하는 데 필수적인 도구로 작용할 것입니다.