💻 computer science

Evaluating Intellectual Property Guardrails of Generative Image Models: A Technical Report

이 기술 보고서는 2026년 3월 기준 14개의 생성형 이미지 모델을 평가하였으며, 모든 프라이빗 모델이 가상의 캐릭터, 유명인 및 로고에 대해 각기 다른 거부율을 가진 지식재재권(IP) 보호 조치를 구현하고 있음에도 불구하고, 테스트된 모든 모델이 여전히 식별 가능한 지식재산권을 생성할 수 있는 능력을 갖추고 있음을 밝혀냈다.

원저자: Austin T. Hoag, Apostolos Modas, Yunhao Ba, Julienne M. LaChance, Jinru Xue, Wiebke Hutiri, Jan Simson, Tiffany Georgievski, Alex Towli, Joseph Smith, Yuki Mitsufuji, Alice Xiang

게시일 2026-07-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Austin T. Hoag, Apostolos Modas, Yunhao Ba, Julienne M. LaChance, Jinru Xue, Wiebke Hutiri, Jan Simson, Tiffany Georgievski, Alex Towli, Joseph Smith, Yuki Mitsufuji, Alice Xiang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 상상하는 무엇이든 그려낼 수 있는 마법 같은 화가에게 요청할 수 있는 세상을 상상해 보세요. 당신은 "유명한 슈퍼히어로를 그려줘"라고 말하거나, "대형 탄산음료 회사의 로고를 그려줘"라고 말할 수 있습니다. 이 보고서는 이 "마법 같은 화가들"(생성형 이미지 모델)이 다른 사람의 소유인 유명 캐릭터, 유명인, 또는 기업 로고를 그리라는 요청을 받았을 때 규칙을 얼마나 잘 따르는지 테스트하기로 결정한 Sony AI 팀의 보고서입니다.

다음은 그들이 무엇을 했고 무엇을 발견했는지 일상적인 비유를 사용하여 간단하게 정리한 내용입니다.

거대한 문제: "따라쟁이" 화가

이 AI 모델들을 인터넷에 있는 거의 모든 책을 읽고 거의 모든 그림을 본 학생이라고 생각해 보세요. 이들은 인터넷 전체로부터 학습했기 때문에, 미키 마우스나 나이키의 "스우시(swoosh)" 로고처럼 이전에 보았던 유명한 것들을 의도치 않게(또는 의도적으로) 복제하곤 합니다.

이 화가들을 만든 회사들은 이러한 저작권이 있는 것들을 그리지 못하도록 "울타리"(IP 가드레일이라고 불림)를 설치했습니다. Sony 팀은 이 질문을 던지고 싶었습니다. 이 울타리는 얼마나 튼튼한가? 실제로 효과가 있는가?

테스트: AI를 위한 "쪽지 시험"

이 울타리를 테스트하기 위해, 팀은 1,809개의 서로 다른 질문으로 구성된 거대한 쪽지 시험을 만들었습니다. 그들은 14개의 서로 다른 AI 화가들에게(무료 및 오픈 소스 모델과 유료 및 비공개 모델 포함) 이 질문들에 기반하여 이미지를 그리도록 요청했습니다.

질문은 두 가지 주요 방식으로 설계되었습니다:

"직접적인" 요청: "미키 마우스를 그려줘." (캐릭터의 이름을 직접 언급함).
"우회하는" 요청: "큰 둥근 귀와 빨간 반바지, 노란 신발을 신은 쥐를 그려줘." (이름을 말하지 않고 캐릭터를 묘사하여 울타리를 속이려고 시도함).

그들은 다섯 가지 유형의 "유명한 것들"을 테스트했습니다:

실제 유명인 (예: 테일러 스위프트).
만화 영웅 및 악당 (예: 슈퍼맨).
만화 캐릭터 (예: 스폰지밥).
비디오 게임 캐릭터 (예: 마리오).
기업 로고 (예: 애플 또는 구글).

또한 그들은 AI가 서구의 유명한 것들(할리우드 스타 등)을 막는 데 동양의 것들(일본 애니메이션 등)보다 더 뛰어난지, 그리고 "매우 유명한" 것을 "덜 유명한" 것보다 더 잘 차단하는지도 확인했습니다.

결과: 울타리의 성능

1. "오픈" 화가들은 울타리가 없었습니다
누구나 자신의 컴퓨터에 다운로드하여 실행할 수 있는 세 가지 "오픈" 모델들은 울타리가 전혀 없었습니다. 유명한 로고나 유명인을 그려달라고 요청하면, 그들은 그냥 그려버렸습니다. "안 된다"라고 말하지 않았습니다.

2. "비공개" 화가들은 울려한 울타리가 있었지만, 흔들거렸습니다
아마존, 구글, OpenAI와 같은 11개의 유료 비공개 모델들은 울타리를 가지고 있었습니다. 하지만 울타리의 강도는 매우 다양했습니다:

엄격한 경비원: 한 모델(아마존의 Titan Image G2)은 요청의 약 **50%**에 대해 "안 된다"라고 답했습니다. 매우 잘 차단했습니다.
관대한 경비원: 다른 회사의 모델들(Stability AI)은 요청의 2% 미만에 대해서만 "안 된다"라고 답했습니다. 거의 모든 것을 통과시켰습니다.

3. "로고" 루프홀(허점)
여기 매우 놀라운 부분이 있습니다. 울타리는 상업적 로고를 막는 데 형편없었습니다.
가장 엄격한 모델조차도 로고(예: 애플 로고)를 그려달라는 요청을 거의 항상 통과시켰습니다. 마치 울타리에 브랜드 이름을 위한 거대한 구멍이 뚫려 있는 것 같았습니다. 팀은 로고가 가장 빈번하게 생성되는 "유명한" 항목이라는 것을 발견했습니다.

4. "이름" 기술
사용자가 직접적으로 요청했을 때("원더우먼을 그려줘"), 모델들은 "안 된다"라고 할 가능성이 훨씬 높았습니다.
하지만 사용자가 캐릭터의 이름을 말하지 않고 묘사했을 때("빨간색과 파란색 슈트를 입고 황금 올가미를 든 키 큰 여성을 그려줘"), 모델들은 훨씬 더 기꺼이 "알겠다"라고 하며 그녀를 그려냈습니다. 이는 울타리가 실제 만들어지는 그림을 이해하는 것이 아니라, 주로 "금지 목록"에 있는 특정 이름들을 체크하고 있다는 것을 시사합니다.

5. 유명함 vs 생소함
팀은 모델들이 매우 유명한 것(예: 배트맨)을 덜 유명한 것보다 더 잘 차단하는지 궁금해했습니다.

거절: 모델들은 인지도에 크게 개의치 않았습니다. 유명한 것과 덜 유명한 것을 비슷한 비율로 차단했습니다.
성공: 그러나 모델이 무언가를 실제로 그려냈을 때, 그들은 매우 유명한 것들을 성공적으로 그려낼 확률이 훨씬 높았습니다. 매우 유명한 얼굴을 인식하고 재현하는 것이 덜 유명한 얼굴보다 쉽기 때문입니다.

"판사" (답변을 확인하는 방법)

결과를 채점하기 위해, 팀은 인간이 모든 그림을 보게 하지 않았습니다(그것은 시간이 너무 오래 걸릴 것입니다). 대신, 그들은 매우 똑똑한 AI "판사"(시각-언어 모델)를 사용하여 생성된 이미지를 보고 "네, 그것은 유명한 것을 닮았습니다" 또는 "아니요, 그것은 그냥 일반적인 그림입니다"라고 말하게 했습니다.

이 "판사"는 꽤 유능했지만 완벽하지는 않았습니다. 일반적인 그림을 유명한 것으로 착각하거나, 미묘한 복제를 놓치기도 하는 엄격한 선생님과 같았습니다.

결론

2026년 3월 현재, 보고서는 일부 회사들이 AI가 유명한 것들을 복제하는 것을 막기 위해 울타리를 구축하려 노력하고 있지만, 그 울타리는 그리 강하지 않다고 결론짓습니다.

대부분의 모델은 여전히 인식 가능한 유명 캐릭터와 로고를 생성합니다.
로고는 생성하기 가장 쉽습니다.
특정 이름을 사용하지 않으면, 모델은 유명한 것을 그려줄 가능성이 훨씬 높습니다.
"오픈" 모델들은 울타리가 전혀 없습니다.

저자들은 이것이 단지 현재의 스냅샷일 뿐이라고 경고합니다. 울타리는 내일 더 강해질 수도 있고, 모델들은 이를 우회하는 법을 더 잘 배우게 될 수도 있습니다. 하지만 지금 당장은, 유명한 캐릭터나 로고를 그리고 싶다면 이 AI 도구들은 여전히 기꺼이 당신을 위해 그것을 해줄 것입니다.

기술 요약: 생성형 이미지 모델의 지식재산권(IP) 가드레일 평가

문제 정의

생성형 이미지 모델은 방대한 양의 공개 인터넷 데이터를 기반으로 학습되며, 이 데이터의 상당 부분에는 허구의 캐릭터, 유명인의 초상, 상업적 로고와 같은 보호받는 지식재산권(IP)이 포함되어 있습니다. 동의 없이 이러한 데이터를 사용하는 것은 저작권 침해 및 퍼블리시티권에 관한 법적, 윤리적 문제를 야기합니다. 모델 개발자들은 인지 가능한 IP 생성을 방지하기 위해 "IP 가드레일"(추론 시 완화 조치)을 구현하기 시작했으나, 이러한 가드레일의 투명성, 커버리지 및 효과성은 여전히 불분명합니다. 가드레일이 얼마나 빈번하게 생성을 거부하는지, 다양한 IP 카테고리와 프롬프트 전략에 따라 어떻게 달라지는지, 그리고 이러한 조치에도 불구하고 모델이 여전히 인지 가능한 IP를 생성하는 정도가 어느 정도인지에 대한 체계적인 이해가 부족한 실정입니다.

방법론

이러한 불확실성을 해결하기 위해 저자들은 포괄적인 벤치마크와 자동화된 평가 파이프라인을 개발했습니다.

1. IP 분류 체계 및 벤치마크 설계

평가 벤치마크는 다음과 같은 4차원 분류 체계를 기반으로 구축되었습니다:

사용자 의도: 비의도적(inadvertent) 생성(엔티티 이름이 없는 간접 프롬프트)과 적대적(adversarial) 생성(엔티티 이름이 포함된 직접 프롬프트)을 구분함.
IP 카테고리: 다섯 가지 별도 카테고리를 테스트함: (1) 실존 유명인, (2) 코믹/만화/망가 캐릭터, (3) 코믹 슈퍼히어로/빌런, (4) 비디오 게임 캐릭터, (5) 상업적 로고.
지리적 기원: 엔티티를 "서구권"(북미/유럽)과 "동양권"(동/동남아시아) 지역으로 층화함.
대중성: 각 지역 내에서 엔티티를 "매우 주류(Very Mainstream)" 또는 "덜 주류(Less Mainstream)"로 분류함.

최종 데이터셋은 201개의 고유한 IP 엔티티를 다루는 1,809개의 프롬프트로 구성되었습니다. 프롬프트는 다섯 가지 전략을 사용하여 생성되었습니다:

직접(Direct): 엔티티를 명시적으로 언급함.
희석 포함 직접(Direct with Dilution): 엔티티를 언급하되 묘사적인 방해 요소(distractor)를 추가함.
간접(키워드 기반)(Indirect (Keyword-based)): 엔티티 이름을 언급하지 않고 시각적 속성만을 나열함.
간접(단문/장문 묘사)(Indirect (Short/Long Description)): 엔티티의 이름을 말하지 않고 외형을 묘사함.

2. 평가 파이프라인

본 연구는 14개의 텍스트-투-이미지(T2I) 모델을 평가했습니다: 3개의 오픈 웨이트 모델(로컬 실행)과 11개의 독점 모델(Stability AI, Google, OpenAI, Runway, Amazon의 API를 통해 접속).

생성: 각 모델에 전체 데이터셋으로 프롬프트를 입력했습니다. 결과는 성공적인 이미지 생성 또는 거부(API 오류 코드를 통해 감지)로 기록되었습니다.
IP 탐지: 생성된 이미지는 자동화된 시각-언어 모델(VLM) 탐지기를 사용하여 평가되었습니다. 14개의 후보 VLM을 벤치마킹한 결과, 높은 F1 점수(71.3%)와 정확도를 보인 Qwen3-VL-30B-A3B-Instruct가 판별기로 선정되었습니다. VLM은 이진 분류(인지 가능한 IP의 존재 여부) 및 정형 엔티티 식별 과제를 수행했습니다.

3. 지표

두 가지 주요 지표가 정의되었습니다:

생성 거부율 (Generation Refusal Rate, GRR): 모델의 콘텐츠 모더레이션 가드레일에 의해 거부된 프롬프트의 비율.
IP 발생률 (IP Occurrence Rate, IOR): 인지 가능한 IP를 포함하는 이미지를 생성한 모든 프의 비율 (계산식: $G = \frac{1}{|P|} \sum D(I_i)$ , 여기서 $D(I_i)$ 는 탐지기의 출력값임).

주요 결과

전반적인 가드레일 효과성

거부 변동성: 가드레일 구현 방식은 제공업체마다 크게 달랐습니다. 오픈 웨이트 모델(Stable Diffusion 3 Medium, FLUX.1-dev, PixArt-Sigma)은 생성을 0% 거부했습니다. 독점 모델의 경우, 거부율은 약 1%(Stability AI)에서 약 50%(Amazon Titan Image G2)까지 다양했습니다.
IP 생성: 가드레일에도 불구하고, 테스트된 14개 모델 모두 2026년 3월 기준으로 인지 가능한 IP를 생성했습니다.
역상관 관계: 거부율이 높은 모델은 일반적으로 IP 발생률(IOR)이 낮았습니다. 예를 들어, Amazon의 모델들은 높은 GRR(~43%)과 낮은 IOR을 보였고, Stability AI 모델들은 낮은 GRR(<2%)과 높은 IOR을 보였습니다.

프롬프트 전략의 영향 (Q2)

직접 vs 간접: 직접 프롬프트(엔티티 이름 포함)는 간접 프롬프트보다 유의미하게 높은 거부율을 유발했습니다. 거부율이 가장 높은 세 모델(Runway Gen-4, Amazon Nova Canvas, Amazon Titan G2)의 경우, 간접 프롬프트의 거부율은 78%였던 반면 직접 프롬프트는 ~80%에 달했습니다.
희석(Dilution): 직접 프롬프트에 묘사적인 "희석" 요소를 추가해도 거부율을 낮추거나 IOR에 영향을 주는 데 유의미한 효과가 없었습니다.
생성률: 직접 프롬프트는 평균적으로 간접 프롬프트(2728%)보다 높은 IOR(~50%)을 기록했으나, 이는 모델마다 차이가 있었습니다.

IP 카테고리의 영향 (Q3)

상업적 로고: 이 카테고리는 대부분의 모델에서 가장 낮은 거부율과 가장 높은 IOR을 기록했습니다. 예를 들어, Amazon의 모델들은 로고 프롬프트를 1~2%만 거부했을 뿐, 로고를 빈번하게 생성했습니다.
슈퍼히어로/빌런: 이 카테고리는 평균적으로 가장 높은 거부율을 유발했습니다. 특히 Google의 Imagen 3 및 4 모델은 이 카테고리에 대해 높은 가드레일 활성화를 보였습니다.
유명인: 거부율은 낮았으나, 유명인은 모든 카테고리 중 가장 낮은 IOR을 보였습니다. 이는 학습 단계에서의 데이터 제거 또는 특정 프라이버시 필터 때문일 가능성이 있습니다.

대중성 및 지역의 영향 (Q3)

대중성: 주류 엔티티는 덜 주류인 엔티티에 비해 거부율은 약간 높았지만(1.2배), IOR은 훨씬 높았습니다(1.7배).
지역: 거부율과 IOR은 동양권과 서구권 엔티티 간에 유사하게 나타났습니다.

의의 및 주장

저자들은 본 연구를 광범위하게 사용되는 다양한 생성형 이미지 모델에 대한 인스턴스 타임(inference-time) IP 가드레일에 대한 첫 번째 체계적 분석이라고 규정합니다.

벤치마킹 기여: 본 논문은 201개 엔티티, 5개 카테고리, 5가지 프롬프트 유형을 포함하는 구조화된 벤치마크와 VLM을 이용한 자동화된 평가 파이프라인을 도입하여, 좁은 범위에 집중하거나 프롬프트 전략의 체계적 변형이 부족했던 기존 문헌의 공백을 메웠습니다.
투명성 격차: 결과는 모델 개발자들이 독성(toxicity)이나 누드(nudity)와 같은 다른 안전 조치에 비해 IP 가드레일에 대해 보여주는 투명성이 현저히 낮음을 강조합니다. 본 연구는 가드레일의 커버리지가 일관되지 않음을 드러냈습니다. 예를 들어, 상표권이 있는 상업적 로고는 빈번하게 생성되는 반면, 슈퍼히어로는 더 강력하게 차단됩니다.
한계 및 겸허한 태도: 저자들은 본 결과가 정보 제공 목적일 뿐이며, 법적 리스크나 준수 여부에 대한 법적 평가를 구성하지 않는다고 명시적으로 밝힙니다. 또한 VLM에 의존한 탐지(덜 주류인 엔티티에 대해 재현율이 낮을 수 있음)와 API 오류 코드를 넘어 독점적 가드레일의 내부 로직을 조사할 수 없다는 한계를 인정합니다. 또한, 데이터의 "스냅샷" 성격(2026년 3월) 때문에 역량이 변화했을 수 있음을 언급합니다.

결론적으로, 본 보고서는 독점 모델에 IP 가드레일이 존재하지만, 그것이 보편적이거나 다양한 IP 카테고리에 걸쳐 균일하게 효과적인 것은 아님을 보여줍니다. 오픈 웨이트 모델은 기본 로컬 설정 상태에서 명시적인 IP 가드레일이 결여되어 있어, 인지 가능한 IP 생성률이 높게 나타납니다.