🤖 AI

Safe Autoregressive Image Generation with Iterative Self-Improving Codebooks

이 논문은 외부의 인간 피드백 없이도 자기 회귀적 이미지 생성의 안전성을 향상시키기 위해, 통합된 멀티모달 모델 자체의 판단을 활용하여 유해한 생성을 식별하고 시각적 코드북을 적응적으로 정제하는 반복적인 자기 개선 프레임워크를 제안한다.

원저자: Yunqi Xue, Zhijiang Li, Philip Torr, Jindong Gu

게시일 2026-06-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yunqi Xue, Zhijiang Li, Philip Torr, Jindong Gu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게는 당신의 설명을 바탕으로 그림을 그릴 수 있는 매우 재능 있고 모든 것을 알고 있는 예술가가 있다고 상상해 보세요. 이 예술가는 캔버스 위에 붓으로 그림을 그리는 것이 아니라, 거대한 상자에서 레고 블록을 조립하는 숙련된 건축가처럼 아주 작은 '픽셀 블록' 하나하나를 쌓아 올려 이미지를 만듭니다. 이 블록 상자의 이름은 **코드북(codebook)**이라고 합니다.

문제는, 당신이 특정한 것을 요청할 때(설령 그것이 해롭려는 의도가 아니더라도), 예술가가 실수로 상자에서 '나쁜 블록'을 골라 무섭거나 폭력적이거나 부적절한 그림을 만들어낼 수도 있다는 점입니다.

이 논문은 인간 교사가 매번 결과물을 확인하지 않고도 예술가의 블록 상자를 수정하여 안전한 그림만을 만들 수 있게 하는 영리한 방법을 제안합니다. 이 과정은 다음과 같은 간단한 3단계 이야기로 설명할 수 있습니다.

1. 예술가가 스스로의 스승이 되다 (자기 성찰)

보통 예술가에게 나쁜 그림을 그리지 않도록 가르치려면, 인간이 모든 그림을 보고 "아니, 이건 너무 폭력적이야" 또는 "응, 이건 안전해"라고 말해주어야 합니다. 하지만 이는 시간이 너무 오래 걸립니다.

대신, 이 방법은 예술가가 자신의 작업물을 스스로 살펴보게 합니다.

예술가는 프롬프트에 따라 그림을 그리려고 시도합니다.
그런 다음 예술가는 그 그림을 보고 스스로에게 묻습니다. "이것이 위험하거나 부적절해 보이는가?"
만약 예술가가 "그렇다, 이것은 나쁘다"라고 생각한다면, 그것은 '나쁜 예시'가 됩니다.
그다음, 예술가는 그 그림과 비슷하지만 '안전한 버전'의 그림을 그리려고 시도합니다.
이제 예술가는 '나쁜 그림'과 '좋은 그림'이라는 한 쌍을 갖게 됩니다.

2. "나쁜 블록" 찾기 (유해한 공간)

연구진은 '나쁜 그림'과 '좋은 그림'의 차이가 무작위가 아니라는 사실을 깨달았습니다. 그 차이는 예술가가 선택한 특정 '블록(토큰)' 속에 숨겨져 있습니다.

연구진은 '나쁜 블록'과 '좋은 블록'을 가져와 서로 비교합니다.
그리고 수학적 방법을 사용하여 블록 상자 내에서 '나쁨'이 존재하는 구체적인 방향을 찾아냅니다. 이것은 마치 저장실의 구석진 곳 중 위험한 레고 조각들이 숨어 있는 어두운 구석을 찾는 것과 같습니다.
그런 다음 그 구석을 잠가버립니다. 예술가가 다시는 그 어두운 구석에 손을 뻗어 블록을 집어 들 수 없도록 만드는 것입니다. 이를 코드북을 '무해한 공간'으로 투영(projecting)한다고 합니다.

3. 예술 다듬기 (적응형 미세 조정)

여기에는 까다로운 부분이 있습니다. 만약 단순히 나쁜 블록들을 치워버리기만 한다면, 예술가는 일반적인 그림을 그리는 데 필요한 도구들까지 잃어버려 그림이 못생기거나 흐릿해질 수 있습니다.

이를 해결하기 위해, 연구진은 예술가가 다시 '안전한 그림'을 연습하게 하되 엄격한 규칙을 부여합니다. **"어두운 구석에 있는 도구가 아닌 도구들만 사용할 수 있다"**는 규칙입니다.
예술가는 오직 '안전한 도구'만을 사용하여 자신의 기술을 재건하는 법을 배우며, 거친 부분을 매끄럽게 다듬고 그림을 다시 아름답게 만듭니다.
이 과정은 **반복적(iterative)**입니다. 즉, 그림 그리기 시도 -> 나쁜 점 확인 -> 나쁜 구석 잠그기 -> 안전한 그림 그리기 연습 -> 반복의 과정을 거칩니다. 반복할 때마다 예술가는 품질을 유지하면서도 나쁜 것을 피하는 능력이 향려집니다.

결과

이 과정을 마치면, 예술가는 새롭고 업그레이드된 블록 상자를 갖게 됩니다.

예술가는 여전히 아름답고 복잡하며 감정적인 걸작(예: "19세기 회화"나 "어두운 감정적 초상화"와 같은 예시)을 그릴 수 있습니다.
하지만 만약 당신이 해로운 것(예: 폭력이나 누드)을 그려달라고 요청한다면, '나쁜 블록'은 애초에 선택할 수 없는 상태가 됩니다. 대신 예술가는 그 장면의 안전한 버전을 그려낼 것입니다.

요약하자면: 이 논문은 AI 예술가가 스스로를 감시하도록 가르칩니다. 예술가는 자신의 실수를 찾아내고, 어떤 '정신적 도구'가 그 실수를 유발하는지 식별하며, 그 도구들을 제거한 뒤, 오직 안전한 도구만을 사용하여 훌륭한 예술가가 되는 법을 다시 배웁니다. 가장 놀라운 점은, 이 모든 과정을 수만 장의 나쁜 이미지를 인간이 일일이 라벨링할 필요 없이 수행한다는 것입니다.

기술 요약: 반복적 자기 개선 코드북을 통한 안전한 자기회귀 이미지 생성

문제 정의

자기회귀 통합 멀티모달 모델은 확산 모델(diffusion models)처럼 연속적인 잠재 공간에서 작동하는 대신, 코드북에서 유도된 이산화된 시각적 토큰을 순차적으로 예측함으로써 이미지를 생성합니다. 이러한 아키텍처는 속도와 텍스트 조건부 일관성 측면에서 이점을 제공하지만, 중요한 안전 문제를 야기합니다. 즉, 이러한 자기회귀 시스템이 생성하는 이미지는 얼마나 안전한가 하는 점입니다. 기존의 확산 모델용 안전 완화 방법(예: 잠재 공간 가이던스, 생성 후 필터링)은 연속적인 표현에 의존하며, 자기회귀 모델의 이산 토큰 기반 생성에는 잘 일반화되지 않습니다. 또한, 현재의 접근 방식들은 광범위한 인간 주석이나 외부 피드백 루프를 필요로 하는 경우가 많아 자원 집약적이며 확장하기 어렵습니다.

방법론

본 논문은 **반복적 자기 개선 코드북(Iterative Self-Improving Codebooks)**을 제안합니다. 이 방법은 외부의 인간 주석 없이도 유해한 개념을 식별하고 제거하기 위해 통합 멀티모달 모델 자체의 능력을 활용합니다. 이 접근 방식은 수렴할 때까지 반복되는 두 가지 핵심 단계로 구성됩니다.

1. 유해 공간 구축 및 투영(Projection)

자기 생성 데이터 쌍 형성: 모델은 특정 유해 속성을 포함하는 프롬프트 세트로부터 이미지를 생성합니다. 모델은 자신의 이해 능력을 사용하여 어떤 생성 이미지가 유해한지 식별합니다. 각 유해 프롬프트( $x_u$ )에 대해, 모델은 유해한 용어를 무해한 용어로 대체함으로써 의미적으로 유사하지만 안전한 대안 프롬프트( $x_s$ )를 생성합니다. 이를 통해 유해한 경우의 $(x_u, y_u)$ 와 안전한 경우의 $(x_s, y_s)$ 로 이루어진 쌍을 이룬 이미지-텍스트 데이터셋이 생성됩니다.
특징 차이 추출: 모델은 이 프롬프트들에 대응하는 토큰들의 임베딩 특징( $F_u$ 및 $F_s$ )을 코드북으로부터 추출합니다. 이 특징 벡터들 사이의 차이( $F_u - F_s$ )를 계산하여 유해한 개념과 관련된 특정 특징을 격리합니다.
부분 공간(Subspace) 구축: 이러한 차이 벡터들을 집계하고 특이값 분해(SVD)를 통해 처리하여 주성분을 추출합니다. 상위- $k$ 특이 벡터들은 유해한 개념(예: 누드, 폭력)의 핵심 특징을 포착하는 유해 부분 공간( $P$ )을 정의합니다.
하드 투영(Hard Projection): 원래의 코드북( $W_{ori}$ )을 유해 부분 공간 내에 존재하는 성분들을 제거하도록 투영합니다. 투영된 코드북( $W_{proj}$ )은 다음과 같이 계산됩니다:
$W_{proj} = W_{ori} (I - \lambda \cdot \text{Proj}_P(W_{ori}))$
이는 새로운 임베딩이 유해한 정보와 직교하도록 보장합니다.

2. 무해 공간에서의 적응형 미세 조정(Adaptive Fine-Tuning)

품질 복원: 단계 1의 하드 투영은 무해한 세부 사항을 제거함으로써 이미지 품질을 저하시킬 수 있습니다. 이를 해결하기 위해, 투영된 코드북에 대해 적응형 미세 조정을 수행합니다.
영 공간 제약(Null Space Constraint): 이미지 충실도를 높이기 위해 섭동 행렬( $\Delta$ )을 최적화합니다. 결정적으로, 이 섭동은 차이 행렬 $E$ (유해 부분 공간에 직교하는 공간)의 영 공간(null space) 내로 제약됩니다. 이는 미세 조정 과정이 유해한 정보를 재도입하지 않으면서 시각적 품질을 개선하도록 보장합니다.
최종 코드북: 최종 안전 코드북은 $W_{safe} = W_{proj} + \Delta \cdot Q$ 로 구축됩니다. 여기서 $Q$ 는 영 공간으로의 투영 행렬입니다.

전체 과정은 반복적입니다: 업데이트된 코드북은 새로운 데이터를 생성하고, 유해 공간을 정제하며, 안전성과 품질을 더욱 개선하는 데 사용됩니다.

주요 기여

최초의 체계적 탐구: 저자들은 자기회귀 통합 멀티모달 프레임워크 내의 이미지 생성 안전성을 체계적으로 다룬 최초의 연구자로, 잘 연구된 확산 기반 안전 환경과 이를 구분하였습니다.
반복적 자기 개선 메커니즘: 모델의 내부 이해 및 판단 능력을 사용하여 유해/안전 쌍을 구축하고 코드북을 업데이트하는 방법을 도입하여, 주석이 달린 데이터셋이나 인간의 피드백 없이도 가능하게 합니다.
코드북 중심의 안전성: 생성 궤적이나 잠재 공간을 수정하는 방법과 달리, 이 접근 방식은 이산 시각 토큰 표현(코드북)을 직접 수정하여 자기회귀 모델을 위한 근본적인 솔루션을 제공합니다.

실험 결과

이 방법은 다섯 가지 통합 멀티모달 모델(Janus 시리즈, VILA-U, Emu3, LlamaGen, OmniMamba)에 대해 여덟 개의 유해 프롬프트 데이터셋(I2P, CoPro, ViSU, P4D, MPUP 포함)에서 평가되었습니다.

안효 개선: 이 방법은 7가지 카테고리(성적, 폭력, 혐오, 자해, 불법 활동, 괴롭힘, 충격적 내용) 전반에서 부적절한 콘텐츠 생성을 크게 감소시켰습니다. 예를 들어, I2P 데이터셋에서 성적 콘텐츠의 비율이 0.12(베이스라인)에서 0.04(Safe-CB)로 떨어졌습니다.
반복적 효능: 실험을 통해 반복적 제거가 단일 턴 제거보다 우수함을 입증했습니다. 안전성 개선은 일반적으로 3회 반복 후에 포화 상태에 도달했으며, 유해 공간은 시간이 지남에 따라 더욱 정교해졌습니다.
역량 보존: 이 방법은 모델 고유의 이미지 생성 및 텍스트 이해 능력을 보존했습니다. Geneval(생성) 및 MMMU(이해)와 같은 벤치마크에서 유의미한 저하가 나타나지 않았습니다.
의미적 충실도: 초기 하드 투영이 프롬프트-이미지 정렬(CLIP-Score 및 TIFA로 측정)의 저하를 일으켰으나, 적응형 미세 조정 단계가 의미적 일관성을 성공적으로 회복하여 무해한 프롬프트에 대해 Safe-CB의 성능을 베이스라인에 가깝게 끌어올렸습니다.
일반화: 이 접근 방식은 분포 외(OOD) 데이터와 다양한 모델 크기(1B에서 7B 파라미터까지)에 대해 잘 일반화되었습니다.

의의 및 주장

본 논문은 이 연구가 자기회귀 이미지 생성의 안전성을 위한 새로운 패러다임을 구축한다고 주장합니다. 모델 자체의 자기 판단을 활용하여 내부 코드북을 반복적으로 정제함으로써, 외부의 인간 주석이나 전체 모델을 처음부터 다시 학습시키는 과정 없이도 안전성 향상을 달축합니다. 저자들은 이 접근 방식이 유해한 매핑을 효과적으로 제거하면서도 높은 품질의 시각적 세부 사항을 유지하며, 안전한 멀티모달 생성을 위한 확장 가능하고 자립적인 솔루션을 제공한다고 강조합니다. 이 작업은 자기회귀 모델의 안전성이 확산 모델과는 구별되는 전략, 즉 시각적 토큰의 이산적 특성을 타겟팅해야 함을 보여줍니다.