arXiv💻 cs.HC🤖 cs.AI💻 cs.CY🤖 cs.LG

The Malicious Technical Ecosystem: Exposing Limitations in Technical Governance of AI-Generated Non-Consensual Intimate Images of Adults

이 논문은 오픈소스 얼굴 교체 모델과 '나디파이징' 소프트웨어로 구성된 '악의적 기술 생태계'가 성인 대상 AI 생성 비동의적 성폭력 이미지 (AIG-NCII) 제작을 용이하게 하고 있으며, NIST 의 현재 거버넌스 체계가 이를 효과적으로 규제하지 못한다는 점을 생존자 중심의 관점에서 비판적으로 분석합니다.

Michelle L. Ding, Harini Suresh

게시일 Mon, 09 Ma
📖 3 분 읽기☕ 가벼운 읽기
보기: arXiv ↗PDF ↗

Each language version is independently generated for its own context, not a direct translation.

1. 문제의 본질: "나쁜 공장이 아니라, 나쁜 공구상"

지금까지 우리는 AI 성범죄를 막기 위해 "거대 기업들이 만든 AI(예: 스테이블 디퓨전)"를 통제하는 데 집중했습니다. 마치 거대한 공장에서 불량 제품이 나올까 봐 공장을 감시하는 것과 비슷합니다.

하지만 이 논문은 **"실제 문제는 공장이 아니라, 아무나 살 수 있는 '나쁜 공구상'에 있다"**고 말합니다.

  • 현실: 오픈소스(누구나 쓸 수 있는) 기술과 '나체화' 앱들이 인터넷에 수백 개나 떠돌아다니고 있습니다. 기술에 문외한인 사람도 5 분 만에 피해자의 사진을 올리고 성적인 이미지를 만들어낼 수 있습니다.
  • 비유: 마치 집에서 도둑질을 하려는 사람을 막으려는데, 우리는 "거대한 건설 회사"만 감시하고 있는 것입니다. 하지만 실제 도둑들은 **마트에서 아무나 살 수 있는 '가짜 열쇠'나 '도구 세트'**를 사서 범죄를 저지르고 있습니다. 이 논문은 바로 그 **'나쁜 공구상 (악의적 기술 생태계, MTE)'**을 지적합니다.

2. 현재의 실패: "라벨만 붙인다고 해결되는 게 아닙니다"

현재의 규제 방식은 크게 세 가지 이유로 실패하고 있습니다.

① "거짓말은 눈에 보이면 괜찮다?" (투명성의 함정)

  • 현재의 생각: "이 이미지가 AI 가 만든 거라고 'AI 생성'이라는 라벨을 붙이거나, 물결무늬 (워터마크) 를 찍으면 사람들은 '아, 이건 가짜구나' 하고 무시할 거야. 그러니 큰 문제가 없어."
  • 논문의 반박: 완전 틀린 생각입니다.
    • 비유: 누군가 당신에게 가짜 사진을 보여주며 "이건 가짜야"라고 말한다고 해서, 그 사진 때문에 당신의 인격이 훼손되거나 친구들이 당신을 떠난다면 어떨까요? 가짜라도 상처는 진짜입니다.
    • 피해자들은 "가짜라고 해서 내가 당한 정신적 고통이나 사회적 망신이 사라지는 게 아니다"라고 말합니다. 라벨을 붙이는 것만으로는 폭력을 멈출 수 없습니다.

② "아동과 성인을 같은 상자에 넣지 마세요" (혼동된 규제)

  • 현재의 생각: "성인용 딥페이크와 아동 성범죄물 (CSAM) 은 똑같이 '나쁜 것'이니까 같은 방법으로 막으면 되겠지."
  • 논문의 반박: 두 가지는 완전히 다릅니다.
    • 비유: 아동 성범죄물은 "아이가 찍힌 사진은 무조건 불법"이라서 경찰이 미리 찍어둔 '나쁜 사진 목록'만 비교하면 됩니다. (누가 찍었든 불법이니까요.)
    • 하지만 성인용 딥페이크는 "이 사람이 찍힌 사진이니까 불법"인지 아닌지 판단해야 합니다. 피해자가 동의했는지, 사진이 어디서 왔는지 확인해야 하므로 훨씬 복잡합니다. 아동용 규제를 성인에게 그대로 적용하면, 오히려 성인 피해자들은 보호받지 못하게 됩니다.

③ "거대 기업만 잡으면 된다고?" (목표의 착각)

  • 현재의 생각: "거대 기업이 만든 AI 가 나쁜 명령을 받으면 막으면 돼."
  • 논문의 반박: 이미 늦었습니다.
    • 비유: 우리는 거대한 쇼핑몰에서 "나쁜 물건 팔지 마!"라고 경고하고 있습니다. 하지만 실제 범죄자들은 **쇼핑몰이 아닌, 뒷골목의 '장터'**에서 나쁜 도구를 팔고 있습니다.
    • 현재 규제 방법들은 "사용자가 나쁜 명령 (프롬프트) 을 입력하면 막아라"라고 하지만, 이 '뒷골목 장터'의 도구들은 사용자가 사진을 올리면 자동으로 나체로 만들어줍니다. 명령을 막는 방식은 이 도구들에게 통하지 않습니다.

3. 결론: "기술 자체가 나쁘다"는 사실을 인정해야 합니다

이 논문의 가장 중요한 메시지는 이것입니다.

"나쁜 결과가 나오는 건 나쁜 사용자 때문이 아니라, 나쁜 기술 자체가 문제다."

지금까지 우리는 "나쁜 사람 (사용자) 을 막자"라고 생각했습니다. 하지만 이 논문은 **"그 나쁜 사람을 만들어내는 '나쁜 공구상'과 '나쁜 기계' 자체를 규제해야 한다"**고 외칩니다.

요약하자면:
우리는 이제부터 **"거대 기업만 감시하는 것"**을 멈추고, 인터넷에 떠도는 수백 개의 '나쁜 앱'과 '나쁜 도구'를 직접 찾아서 없애는 시스템을 만들어야 합니다. 피해자 (생존자) 들의 고통을 덜어주기 위해서는, "가짜니까 괜찮다"는 변명을 버리고, 기술이 만들어내는 악의적인 결과물 자체를 막는 새로운 규칙이 필요합니다.

유사한 논문

MASEval: Extending Multi-Agent Evaluation from Models to Systems

이 논문은 LLM 기반 에이전트 시스템의 성능에 모델뿐만 아니라 토폴로지나 오케스트레이션 로직과 같은 구현 선택도 결정적인 영향을 미친다는 점을 강조하며, 전체 시스템을 분석 단위로 삼아 프레임워크 간 비교를 가능하게 하는 'MASEval' 평가 프레임워크를 제안합니다.

Cornelius Emde, Alexander Rubinstein, Anmol Goel, Ahmed Heakl, Sangdoo Yun, Seong Joon Oh, Martin GubriWed, 11 Ma🤖 cs.AI

LDP: An Identity-Aware Protocol for Multi-Agent LLM Systems

이 논문은 다중 에이전트 LLM 시스템의 효율성과 거버넌스를 향상시키기 위해 모델 정체성, 점진적 페이로드, 통제된 세션, 구조화된 출처 추적, 신뢰 도메인 등 다섯 가지 메커니즘을 도입한 AI 네이티브 통신 프로토콜인 LDP(LLM Delegate Protocol) 를 제안하고, 이를 통해 지연 시간 감소와 토큰 효율성 증대 등의 효과를 입증했습니다.

Sunil PrakashWed, 11 Ma🤖 cs.AI

Interpretable Markov-Based Spatiotemporal Risk Surfaces for Missing-Child Search Planning with Reinforcement Learning and LLM-Based Quality Assurance

이 논문은 실종 아동 수색을 위해 비정형 데이터를 시공간적 위험 표면으로 변환하고, 마르코프 체인, 강화 학습, 그리고 LLM 기반 품질 보증을 결합한 3 층 아키텍처를 가진 '가디언' 시스템의 예측 모델과 검증 결과를 제시합니다.

Joshua Castillo, Ravi MukkamalaWed, 11 Ma🤖 cs.AI