🤖 machine learning

Detecting CSAM Text-to-Image LoRAs From Weights

이 논문은 메타데이터 검사나 유해한 출력 생성의 대안으로서, 가중치 업데이트의 좌상단 특이 벡터를 분석함으로써 아동 성적 학대물(CSAM)을 생성하도록 훈련된 LoRA를 탐지하는 새로운 추론 불필요 방식을 제안한다.

원저자: David Demitri Africa, Cate Heine, Nadine Staes-Polet, Kimberly Mai

게시일 2026-07-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: David Demitri Africa, Cate Heine, Nadine Staes-Polet, Kimberly Mai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 누구나 책을 빌려 결말을 자신만의 방식으로 다시 쓸 수 있는 거대하고 북적이는 도서관이라고 상상해 보세요. 인공지능의 세계에서 이 "책들"은 이미지 생성 모델이며, "다시 쓰는 것"은 LoRA(Low-Rank Adaptation)라고 불리는 영리한 기술을 통해 이루어집니다. LoRA를 완전히 새로운 책이 아니라, 원래 페이지에 붙여진 아주 작은 포스트잇이라고 생각해보세요. 이것은 AI에게 "이봐, 개를 그릴 때 이 특정 개처럼 보이게 그려줘"라거나 "노을을 그릴 때 이 예술가의 화풍처럼 보이게 해줘"라고 말해줍니다. 이 메모들은 크기가 작고 제작 비용이 저렴하며, 예술가와 창작자들에게 매우 유용합니다.

하지만 포스트잇이 무례한 단어를 적거나 위험한 비밀을 숨기는 데 사용될 수 있는 것처럼, 이러한 AI 메모들도 아동과 관련된 불법 콘텐츠를 포함한 유해한 이미지를 만드는 데 악용될 수 있습니다. 보통 나쁜 의도를 가진 사람을 잡으려면, 그들의 메모를 읽거나(설명을 확인하거나) 그들이 요청한 그림을 실제로 그려보아 잘못되었는지 확인해야 합니다. 하지만 설명을 읽는 것은 거짓말쟁이의 이력서를 믿는 것과 같고, 그림을 그려보는 것은 경비원에게 괴물이 정말 무서운지 확인하기 위해 괴물을 직접 그려보라고 요청하는 것과 같습니다. 이는 위험하며 종종 불법적인 일이기도 합니다. 그래서 안전 전문가들의 큰 고민은 이것입니다. "우리가 텍스트를 읽거나 그림을 그리지 않고도, 오직 저 포스트잇 자체만을 보고 그것이 위험한지 알 수 있을까?"

이 논문은 그 답이 "예"라고 제안하며, 단어(텍스트)를 보는 대신 메모의 "형태"를 봄으로써 이를 증명합니다. 연구진은 Lo로가 특정 대상을 학습할 때, 그 수학적 구조 안에 고유한 기하학적 지문을 남긴다는 사실을 발견했습니다. 그들은 메모 내부의 수학적 방향 중 "왼쪽 상단" 방향(그들이 u1이라 부르는 주요 특이 벡터, leading singular vector 개념)이 일종의 압축된 ID 카드 역할을 한다는 것을 찾아냈습니다. 이 ID 카드는 AI를 실행하거나 이미지를 단 한 장도 생성하지 않고도, 해당 메모가 특정 인물의 얼굴인지, 특정 종류의 새인지, 혹은 특정 질감인지를 정확하게 알려줍니다.

연구팀은 "양성 프록시(benign proxy)" 전략을 사용하여 이 아이디어를 테스트했습니다. 법적으로 아동 성착취물(CSAM)을 학습 모델로 사용할 수 없었기 때문에, 그들은 다양한 연령대(아동, 청소년, 성인)의 얼굴을 대상으로 수백 개의 무해한 메모를 학습시켰습니다. 그들은 "연령"을 탐지하고자 하는 위험한 콘텐츠를 대신할 안전한 대역으로 취급했습니다. 결과는 놀라웠습니다. 단순히 메모의 수학적 구조를 읽는 것만으로도, 시스템은 해당 메모가 아동의 얼굴, 청소년의 얼굴, 또는 성인의 얼굴을 학습했는지 거의 완벽한 정확도(0.998 AUROC)로 식별해 냈습니다.

결정적으로, 이 방법은 매우 강력합니다. 연구진은 누군가 무작위 노이즈를 추가하거나, 숫자를 축소하거나, 수학적 정밀도를 변경하여 메모의 목적을 숨기려 해도 지문이 여전히 드러난다는 것을 보여주었습니다. 심지어 비밀스러운 트리거 단어가 사용될 때만 본래의 목적이 드러나도록 설계된 "백도어" 시나리오에서도 지문은 숨겨진 대상을 밝혀냈습니다. 또한, 이 시스템은 질감이나 풍경처럼 전혀 관련 없는 것에 대한 메모를 접했을 때 "모르겠다"라고 판단하거나 거부할 줄 아는 똑똑함을 갖추고 있어, 무고한 예술 도구를 허위로 비난하지 않습니다.

이 논문은 이 접근 방식이 유해한 AI 어댑터를 걸러내는 더 안전한 방법을 제공한다고 주장합니다. 나쁜 의도를 가진 자들을 잡기 위해 신뢰할 수 없는 설명에 의존하거나 불법 이미지를 생성하는 대신, 우리는 어댑터의 가중치(weights)를 직접 스캔할 수 있습니다. 저자들은 이 "가중치 공간 스크리닝(weight-space screening)"이 안전 시스템의 표준 계층이 되어, 단 하나의 이미지를 생성하기도 전에 유해한 도구를 잡아낼 수 있다고 제안합니다. 이 모든 과정은 강력한 컴퓨터나 인간 검토자가 충격적인 콘텐츠를 직접 볼 필요 없이 이루어집니다. 비록 이 연구가 특정 모델과 안전한 대역(proxy)에 집중되어 있지만, AI 어댑터가 학습하는 내용의 "DNA"는 그 수학적 구조 안에 영구적으로 인코딩되어 있으며, 언제든 읽힐 준비가 되어 있다는 사실을 강력하게 시사합니다.

기술 요약: 가중치로부터 CSAM 텍스트-이미지 LoRA 탐지

문제 정의
저차원 적응(Low-Rank Adaptation, LoRA) 미세 조정의 확산은 오픈 웨이트 텍스트-이미지 모델의 커스텀 제작을 대중화했습니다. 이는 합법적인 창의적 작업에는 유익하지만, 아동 성적 학대물(CSAM)을 생성하기 위해 특별히 설계된 어댑터의 제작을 용이하게 합니다. 현재의 모더레이션 전략은 메타데이터(모델 카드, 태그)나 생성된 출력물을 검사하는 것에 크게 의존하고 있습니다. 그러나 메타데이터는 종종 불완전하거나 이질적이며 공격자에 의해 통제될 수 있고, 의심되는 콘텐츠가 CSAM인 경우 이를 검사하기 위해 출력을 생성하는 것은 법적 및 윤리적으로 수용 불가능합니다. 결과적으로, 사용자 제공 설명에 의존하거나 유해한 이미지를 생성하지 않고도 가중치로부터 직접 유해한 어댑터를 식별할 수 있는 추론 불필요(inference-free) 방법이 절실히 필요합니다.

방법론
저자들은 LoRA 어댑터로부터 컴팩트하고 추론이 필요 없는 지문(fingerprint)인 $u_1$ 을 추출하는 가중치 공간 스크리닝 방법을 제안합니다.

표현 ( $u_1$ ): LoRA 업데이트 행렬 $\Delta W = BA$ 에 대해, 이 방법은 $\Delta W$ 의 좌상단 특이 벡터(top-left singular vector)를 계산합니다. 이 벡터는 가중치 업데이트의 주요 좌측 특이 방향을 나타냅니다. 여러 레이어를 수정하는 어댑터의 경우, 이 벡터들은 크로스 어텐션(cross-attention) 레이어에서 추출되어 단일 어댑터당 하나의 특징 벡터로 결합됩니다.
이론적 근거: 이 방법은 대상 업데이트가 $\Delta W = \gamma w a^\top$ 로 표현되는 단순화된 선형 대수 모델에 기초합니다. 여기서 $a$ 는 입력 큐(input cue)이고 $w$ 는 출력 방향입니다. 이 벡터는 업데이트의 크기 $\gamma$ 나 큐의 강도와 관계없이, 업데이트가 랭크-1 지배적(rank-one dominant)이라면 $w$ (대상)를 복구합니다. 이는 $u_1$ 이 어떻게 훈련되었는가가 아니라 무엇을 학습했는지를 인코딩함을 시사합니다.
프록시 감독 (Proxy Supervision): 실제 CSAM으로 훈련하는 것은 불법이자 비윤리적이므로, 본 연구는 "양질의 벤진 주(benign zoos)"를 사용하여 제어된 방식으로 훈련합니다. 여기서 타겟 속성은 안전 축(safety axis)에 대한 법적, 윤리적으로 허용 가능한 프록시인 인간 피사체의 연령(아동, 청소년, 성인)입니다.
훈련 주(Training Zoos): 주요 벤치마크는 7가지 카테고리(연령, 조류, 장면, 사물, 질감, 지표 피복, iNaturalist 속 포함)에 대해 SD-1.5에서 훈련된 957개의 LoRA로 구성됩니다. 탐지기가 훈련 설정이 아닌 피사체를 학습하도록 하기 위해 훈련 레시피(랭크, 학습률, 옵티마이저)를 무작위화했습니다. 방법의 교차 모델 견고성을 테스트하기 위해 SDXL 및 FLUX.1-schnell에 대한 추가 주(zoo)를 생성했습니다.
평가: $u_1$ 특징을 사용하여 훈련 피사체를 구분하도록 분류기(로지스틱 회귀, 랜덤 포레스트)를 훈련합니다. 시스템은 훈련 피사체를 복구하는 능력, 가중치 공간 회피(노이즈, 리스케일링, 양자화)에 대한 견고성, 그리고 관련 없는 벤진 콘텐츠에 대해 기권(abstain)하는 능력에 대해 평가됩니다.

주요 기여

메타데이터 분석: 공개 플랫폼의 63,288개 LoRA를 조사한 결과, 메타데이터가 빈번하게 불완전하고 일관성이 없으며 공격자에 의해 통제됨을 확인했습니다. 상세한 훈련 레시피를 사용할 수 있는 어댑터는 25% 미만이며, 그 경우에도 스텔스 백도어 전략을 드러내는 경우는 드뭅니다.
추론 불필요 스크리닝 ( $u_1$ ): 오직 어댑터 가중치로부터 유도된 표현인 $u_1$ 을 도입했습니다. 이 방법은 프롬프트, 이미지 생성, 또는 GPU 추론 없이도 다양한 데이터셋과 베이스 모델 전반에서 훈련 피사체를 식별합니다.
숨겨진 능력의 탐지: 훈련 피사체가 트리거 기반 백도어(예: DreamBooth 스타일 트리거) 뒤에 숨겨져 있거나, 유해한 콘텐츠가 훈련 데이터의 극히 일부만을 차지하더라도 가중치 공간에서 여전히 탐지 가능하다는 증거를 제시했습니다.
견고성 및 보정: $u_1$ 신호가 가산 노이즈, 전역 리스케일링, 정밀도 감소(fp16/8-bit/4-bit)에 대해 견고함을 입증했습니다. 결정적으로, 연령 프록시로 훈련된 탐지기는 관련 없는 벤진 콘텐츠에 대해 기권(낮은 신뢰도 출력)함으로써 오탐(false positives)을 최소화합니다.

결과

피사체 복구: SD-1.5 벤치마크에서 $u_1$ 을 사용하는 로지스틱 회귀 분류기는 7개 피사체 카테 カテゴ리 전체에서 매크로 one-vs-rest AUROC 0.976을 달합니다. 안전 관련 연령 축(성인/청소년/아동)에 대한 AUROC는 0.993에 달합니다.
베이스라인과의 비교: $u_1$ 은 가우시안 활성화 프로빙(GPU 추론 및 모델 실행 필요)과 경쟁할 만한 성능을 보이며, 요약 통계 및 PCA 기반 가중치 분석보다 우수한 성능을 보입니다.
백도어 탐지: 연령이 희귀한 트리거 토큰(백도어) 뒤에서 학습되고 벤진 이미지로 정규화된 경우에도, $u_1$ 은 AUROC 0.96으로 안전에 중요한 "아동" 클래스를 복구하며, 이는 우연 수준을 크게 상회합니다.
회피 저항성: 신호는 가중치 자체의 크기만큼의 가산 가중치 노이즈 하에서도 안정적으로 유지되며, 리스케일링 및 정밀도 감소에 대해 불변합니다.
기권(Abstention): 연령 축과 관련 없는 627개의 미학습 벤진 어댑터에 적용했을 때, 탐지기는 0개의 확신 있는 오분류를 생성하여 관련 없는 콘텐츠에 대해 과잉 반응하지 않음을 입증했습니다.
그래디언트 전이: 이산적인 연령 클래스로 훈련된 탐지기는 성인/아동 데이터의 혼합 비율에 따라 예측된 아동 확률이 단조롭게 상승하는 경향을 보이며, 점진적인 혼합 데이터에도 일반화됩니다.

의의 및 주장
본 논문은 유해한 LoRA를 가중치에서 직접 스크리닝할 수 있으며, 이는 메타데이터에 의존하지 않고 유해한 출력을 생성할 법적, 윤리적 위험 없이 작동하는 핵심적인 방어 계층을 제공한다고 주장합니다.

안전 및 윤리: 이 접근 방식은 전적으로 벤진 프록시와 큐레이션된 오픈 데이터셋에 의존하므로, 개발 및 배포 과정에서 학대 이미지에 대한 인간의 노출을 보장하며 방지합니다.
실질적 배포: $u_1$ 은 가중치에 대한 선형 대수(CPU 전용)만을 요구하므로, 메타데이터가 부재할 수 있는 P2P 플랫폼의 대규모 어댑터 스크리닝에 있어 계산 효율적이고 확장 가능합니다.
상보성: 저자들은 가중치 공간 스크리닝( $u_1$ )과 활성화 공간 프로빙이 부분적으로 독립적인 신호를 가지고 있음을 언급하며, 이를 결합하면 탐지 성능을 더욱 향라할 수 있다고 명시했습니다.
한계: 저자들은 자신들의 탐지기가 베이스 모델에 특화되어 있으며, 텍스트 인코더 수정에 대해서는 아직 테스트하지 않았음을 명시적으로 밝힙니다. 또한, 벤진 프록시로부터 일반화되지만, 실제 세계의 유해한 데이터에 대한 추가 검증 없이 모든 CSAM 생성 LoRA로의 완벽한 일반화를 보장한다고 주장하지는 않습니다.

결론적으로, 이 연구는 LoRA의 "가장 강력하게 학습된 변화"가 그 주요 특이 방향에 명확하게 인코딩되어 있음을 입증하며, 유해한 어댑터가 배포되거나 콘텐츠 생성에 사용되기 전에 이를 탐지할 수 있는 실행 가능한 추론 불필요 메커니즘을 제공합니다.

유사한 논문