💻 computer science

One Pass Is Not Enough: Recursive Latent Refinement for Generative Models

이 논문은 단일 통과 잠재 매핑을 재귀적 정제로 대체하여 모드 커버리지를 명시적으로 우선시함으로써 여러 데이터셋에서 경쟁력 있는 FID 점수와 함께 우수한 정밀도와 재현율을 달성하는 생성 모델인 RTM 을 소개합니다.

원저자: Mehdi Esmaeilzadeh, Alexia Jolicoeur-Martineau, Chirag Vashist, Ke Li

게시일 2026-05-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mehdi Esmaeilzadeh, Alexia Jolicoeur-Martineau, Chirag Vashist, Ke Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇 화가가 초상화를 그리는 법을 가르치려 한다고 상상해 보세요. 당신은 수천 장의 사람 사진을 보여줍니다. 목표는 로봇이 결국 실제 존재하지는 않지만 실물처럼 보이는 새로운 사람의 그림을 그릴 수 있게 하는 것입니다.

오랫동안 우리는 이 로봇들을 평가할 때 주로 "이 그림이 선명하고 사실적인가?"라는 질문을 했습니다. 로봇이 똑같은 잘생긴 남자를 1,000 장 복사해 그렸다면, 모든 그림이 훌륭해 보였기 때문에 만점을 받았을 것입니다. 하지만 이는 문제입니다. 로봇은 사람들이 서로 다른 머리카락 색, 나이, 표정을 가진다는 사실을 배우지 못했습니다. 로봇은 하나의 유형만 그리는 "모드 붕괴(mode collapse)"에 갇히게 된 것입니다.

이 논문은 이를 해결하기 위해 **RTM(Recursive Token Mapper, 재귀적 토큰 매핑기)**이라는 새로운 방법을 소개합니다. 간단한 비유를 들어 그 작동 원리를 설명하겠습니다.

1. 문제: "원샷(One-Shot)" 화가

대부분의 현재 AI 모델 (인기 있는 StyleGAN 과 같은) 은 한 번의 분주한 노력으로 최종 시험을 치르는 학생처럼 작동합니다.

옛 방식: AI 는 무작위 노이즈 신호 (빈 캔버스와 같은) 를 받아 8 단계 (8 층 "MLP") 의 긴 체인을 한 번에 통과시켜 그림이 어떻게 보여야 할지 결정합니다.
결함: 얼굴 모양, 피부 톤, 머리카락 질감, 조명 등을 한 번에 모두 결정해야 하므로 종종 압도당합니다. 그림이 선명해 보이도록 보장하기 위해 가장 안전하고 "평균적"이거나 흔한 특징을 선택하는 경향이 있습니다. 이로 인해 품질은 높지만 다양성은 낮은 (즉, "모드 붕괴" 문제) 결과가 나옵니다.

2. 해결책: "반복적 스케치" 화가

저자들은 RTM이라는 새로운 접근법을 제안합니다. 모든 것을 한 번에 서두르는 대신, AI 는 스케치를 하고 다듬는 거장 화가처럼 행동합니다.

비유: 한 번의 붓질로 걸작을 그리려 하지 않는 화가를 상상해 보세요.
1. 첫 번째 통과 (대략적): 빠르게 기본 윤곽을 스케치합니다. "좋아, 이건 얼굴이고 왼쪽을 향하고 있으며 머리카락은 짧아."
2. 두 번째 통과 (정교화): 그 스케치를 보고 말합니다. "턱선이 더 날카로워야 하고, 눈은 더 많은 디테일이 필요해."
3. 세 번째 통과 (마무리): 마지막 touches 를 추가합니다. "피부 질감을 실물처럼 보이게 하고 조명을 조정해 보자."

RTM 은 정확히 이렇게 작동합니다. 무작위 노이즈를 받아 작은 재사용 가능한 논리 "블록"을 여러 번 통과시킵니다.

초기 사이클은 큰 그림 (정체성, 자세, 구성) 을 확립합니다.
후기 사이클은 세부 사항 (질감, 색상, 선명도) 을 다듬습니다.

AI 가 자신의 작업을 "되돌아보며" 실수를 수정할 수 있기 때문에 한 가지 유형의 이미지에 갇히지 않습니다. 실물처럼 보이면서도 더 다양한 얼굴을 탐구할 수 있습니다.

3. "재귀적"인 비밀 소스

"왜 단순히 8 단계 체인을 더 길게 (예: 32 단계) 만들지 않는가?"라고 물을 수 있습니다.
이 논문은 단순히 체인을 길게 만드는 것은 학생에게 생각할 시간을 주지 않고 암기할 긴 지시 목록만 더 주는 것과 같다고 주장합니다. 비효율적이며 오히려 상황을 악화시킬 수 있습니다.

RTM 은 "재귀적"입니다. 이는 같은 작은 지시 집합을 반복해서 사용하되, 매번 이전 단계의 "개선된" 결과에 적용한다는 뜻입니다.

비유: 초고를 검토하고 수정한 뒤, 새로운 초고를 다시 검토하고 또 수정하는 등 한 번에 한 명씩 작업을 하는 32 명의 편집자를 고용하는 것보다, 매우 똑똑한 편집자 한 명이 초고를 검토하고 수정하는 과정을 반복하는 것이 훨씬 효과적입니다.

4. 결과: 더 나은 품질과 더 많은 다양성

저자들은 CIFAR-10(작은 고양이, 개, 자동차 이미지 포함) 과 CelebA-HQ(얼굴 이미지 포함) 와 같은 여러 데이터셋에서 이를 테스트했습니다.

옛 지표의 함정: 표준 점수 (FID) 가 "포화" 상태에 도달했다고 지적했습니다. 점수를 더 낮추기 어렵고, 낮은 점수가 AI 가 데이터의 전체 다양성을 학습했음을 보장하지는 않습니다.
새로운 목표: 그들은 **정밀도(Precision, 이미지가 얼마나 사실적인가)**와 **재현율(Recall, AI 가 생성할 수 있는 다양한 이미지 유형이 얼마나 많은가)**에 집중했습니다.
결과: RTM 은 이전 최고 모델들을 능가했습니다. 단순히 더 선명한 이미지를 만든 것이 아니라, 더 다양한 이미지를 만들었습니다.
- "얼굴" 데이터셋에서 이전 모델들에 비해 훨씬 더 다양한 나이, 피부 톤, 표정을 가진 얼굴을 생성하면서도 여전히 매우 사실적으로 보였습니다.
- 이는 그들의 특정 학습 방법 (IMLE) 에만 국한되지 않고 표준 StyleGAN 모델에서도 성능을 향상시켰습니다.

요약

옛 AI 는 오직 하나의 특정 사진만 완벽하게 복사하는 법만 아는 복사기라고 생각하세요. 새로운 RTM AI 는 거친 아이디어를 보고 단계별로 다듬어 인간 다양성의 전체 스펙트럼을 아우르는 독특하고 고품질의 초상화 갤러리를 만들어내는 크리에이티브 디렉터와 같습니다.

이 논문은 이 성과가 최종 이미지를 생성하기 전에 AI 가 잠재적 "청사진"을 반복적으로 다듬을 수 있게 해주는 재귀적 루프로 "원샷" 매핑 네트워크를 대체함으로써 달성되었다고 주장합니다.

기술 요약: 한 번의 통과만으로는 부족하다: 생성 모델을 위한 재귀적 잠재 공간 정제

문제 제기

이미지 생성 분야에서 상당한 진전이 있었음에도 불구하고, 이 분야는 중요한 평가 병목 현상에 직면해 있습니다. 주된 지표인 Fréchet Inception Distance(FID)는 샘플의 충실도와 모드 커버리지를 혼동하며, 종종 낮은 한 자리 수 값에서 포화 상태에 이릅니다. 이러한 포화는 지속적인 문제를 가립니다: 모델은 선명하고 거의 중복된 이미지들의 작은 집합을 생성하여 (모드 붕괴) 낮은 FID 점수를 달성할 수 있지만, 전체 데이터 분포를 커버하지는 못합니다.

현재의 생성 패러다임들은 다음과 같은 트레이드오프를 보입니다:

확산 (Diffusion) 및 흐름 매칭 (Flow-Matching) 모델: 높은 충실도를 달성하지만 종종 반복적인 샘플링 (여러 번의 신경 함수 평가) 을 요구합니다. 증류된 한 단계 변형들은 추론을 가속화하지만 일관되게 다양성과 커버리지를 희생합니다. 또한, 확산 솔버들은 데이터 분포의 저밀도 영역을 체계적으로 과소 커버합니다.
생성 적대 신경망 (GANs): 단일 단계 추론을 제공하지만 모드 붕괴에 취약하여, 높은 충실도의 모드에 집중하고 다른 모드들을 누락시키는 경향이 있습니다.
암시적 최대 우도 추정 (IMLE): 구성상 모드 커버리지를 보장 (모든 학습 이미지가 근처에 생성된 샘플을 갖도록 함) 하고 단일 단계 추론을 지원합니다. 그러나 IMLE 기반 방법들은 역사적으로 샘플 품질에서 뒤처져 왔습니다. 이 한계는 부분적으로 생성기 아키텍처에서 기인합니다: StyleGAN 기반 IMLE 모델의 매핑 네트워크는 단일 순방향 통과로 처리되는 표준 다층 퍼셉트론 (MLP) 입니다. 이는 네트워크가 스타일 코드의 모든 측면 (정체성, 구조, 질감, 세부 사항) 을 동시에 결정하도록 강요하여, 초기 잠재 매핑의 부정확성에 대해 출력이 매우 민감하게 반응하게 만듭니다.

방법론: 재귀적 토큰 매핑 (Recursive Token Mapper, RTM)

저자들은 스타일 기반 생성기의 단일 통과 MLP 매핑 네트워크를 재귀적 토큰 매핑 (RTM) 으로 대체할 것을 제안합니다. RTM 은 "Tiny Recursive Model (TRM)"아키텍처를 생성 설정에 적응시켜, 파라미터 수를 증가시키지 않고 잠재 공간의 반복적 정제를 가능하게 합니다.

핵심 아키텍처

재귀적 구조: 독립적인 레이어의 깊은 스택 대신, RTM 은 반복적으로 적용되는 공유 블록 $f$ $f$ 를 사용합니다. 이 과정은 두 수준의 재귀를 포함합니다:
- 내부 사이클 ( $L$ ): 내부 상태 $Z_L$ 은 외부 상태와 원래 노이즈 벡터를 조건으로 하여 단계당 $L$ 회 업데이트됩니다.
- 정제 단계 ( $H$ ): 외부 상태 $Z_H$ 는 $H$ 회 업데이트됩니다.
메커니즘: 매핑기는 먼저 스타일 벡터 $w$ 의 대략적인 추정을 생성한 후 여러 사이클에 걸쳐 이를 점진적으로 수정합니다. 초기 사이클은 대략적인 구조 (정체성, 포즈) 를 설정하고, 후기 사이클은 질감과 색상을 정제합니다.
파라미터 효율성: 동일한 블록 $f$ 가 재사용되므로, $H$ 나 $L$ 을 증가시키는 것은 파라미터를 추가하지 않고도 유효한 계산 깊이를 증가시킵니다.
단축 기울기 최적화 (Short-Gradient Optimization): 훈련 중 메모리를 관리하기 위해, 최종 정제 단계만 미분되며 중간 단계는 분리 (detached) 됩니다. 이는 단일 순방향 블록과 비교 가능한 훈련 메모리 비용을 유지하면서도 깊은 재귀의 표현적 이점을 보존합니다.
통합: RTM 은 IMLE 기반 생성기 (특히 RS-IMLE) 와 적대적으로 훈련된 StyleGAN (StyleGAN2 및 StyleGAN2-ADA) 의 매핑 네트워크를 위한 "드롭인 (drop-in)"교체품으로 설계되었습니다. 디코더 아키텍처는 변경되지 않습니다.

주요 기여

재귀적 토큰 매핑 (RTM): 스타일 기반 생성기의 표준 단일 통과 MLP 를 반복적 정제 과정으로 대체하는 새로운 매핑 네트워크 아키텍처.
RS-IMLE 와의 통합: Rejection-Sampling IMLE (RS-IMLE) 와 통합될 때, RTM 은 9 개의 퓨샷 (few-shot) 벤치마크, 무조건부 CIFAR-10, 그리고 CelebA-HQ (256×256) 에서 FID, 정밀도 (Precision), 그리고 재현율 (Recall) 을 개선하며, IMLE 의 한 단계 추론과 직접적인 잠재 - 이미지 매핑을 유지합니다.
적대적 훈련에 대한 일반화: RTM 은 CIFAR-10 과 AFHQ-v1 (512×512) 에서 StyleGAN2 와 StyleGAN2-ADA 를 개선하여, 재귀적 정제의 이점이 IMLE 훈련 목적에만 국한되지 않음을 입증합니다.
추론 유연성: 정제 단계의 수 ( $H$ ) 는 계산적 하이퍼파라미터로 작용합니다. 모델은 재훈련 없이 추론 시 다양한 $H$ 값으로 평가될 수 있어, 추론 비용과 충실도 사이의 트레이드오프를 허용합니다.

실험 결과

본 논문은 여러 데이터셋에서 정밀도, 재현율, FID, 그리고 Inception Score (IS) 를 사용하여 RTM 을 평가합니다.

CIFAR-10 (32×32): RS-IMLE 와 통합된 RTM 은 확산 및 흐름 매칭 기준을 포함한 나열된 모든 방법 중 가장 높은 정밀도 (0.896) 와 재현율 (0.773) 을 달성합니다. 이는 한 단계 추론을 유지하면서 바닐라 RS-IMLE 기준 대비 FID 를 30% 낮춥니다 (3.97 대 5.69).
CelebA-HQ (256×256): RTM 은 RS-IMLE 기준 대비 FID 를 27% 감소시킵니다 (10.67 대 15.43) 동시에 정밀도 (0.952) 와 재현율 (0.592) 을 개선합니다.
퓨샷 벤치마크: 9 개의 표준 퓨샷 데이터셋 (예: Obama, Dog, Anime) 에서 RTM 은 일치하는 RS-IMLE 재현의 평균 FID 를 약 절반으로 줄입니다 (13.94 대 25.2).
StyleGAN2/ADA: CIFAR-10 에서 RTM 은 StyleGAN2 의 FID 를 3.88 에서 3.55 로 낮추고, StyleGAN2-ADA 의 FID 를 2.31 로 유지하면서 정밀도와 커버리지를 개선합니다. AFHQ-v1 에서 RTM 은 FID (4.79 대 4.99) 와 재현율 (0.565 대 0.507) 을 개선합니다.
깊이 vs 재귀: CIFAR-10 에 대한 제거 연구 (ablation study) 는 단순히 비재귀적 MLP 의 깊이를 증가시키는 것 (32 레이어까지) 은 정밀도를 개선하지만 재현율을 심각하게 저하시킨다는 것을 보여줍니다 (0.550 대 0.664 기준). RTM 은 깊이 일치 MLP 보다 13 배 적은 파라미터로 더 나은 FID 를 달성하여, 재귀가 커버리지를 희생하지 않으면서 분포 충실도를 위한 우수한 귀납적 편향을 제공함을 시사합니다.

중요성과 주장

본 논문은 이미지 생성의 목표가 포화 상태에 가까운 FID 를 단순히 낮추는 것에서 벗어나, 충실도 (정밀도) 와 함께 다양성과 커버리지 (재현율) 를 명시적으로 개선하는 것으로 전환되어야 한다고 주장합니다.

FID 를 넘어선 접근: 저자들은 FID 만으로는 부족하다고 주장합니다. 왜냐하면 FID 는 데이터 분포의 상당 부분을 무시할 수 있는 선명하고 집중된 샘플을 보상하기 때문입니다. 정밀도와 재현율은 필수적인 보완재입니다.
동시 개선: 커버리지를 FID 를 위해 희생하는 흐름 매칭 기준이나, 한 단계 추론에서 다양성을 잃는 증류된 확산 모델과 달리, RTM 은 품질과 다양성을 동시에 개선합니다.
아키텍처 통찰: 논문은 정제가 단일 순방향 통과와 질적으로 다른 계산이라고 가정합니다. 매핑기가 후기 계산 (세부 사항) 을 통해 초기 결정 (대략적 구조) 을 수정할 수 있게 함으로써, RTM 은 잠재 코드 부정확성에 대한 디코더의 민감성을 극복합니다.
겸손함: 저자들은 한계를 인정하며, 실험은 IMLE 의 최근접 이웃 검색이 계산적으로 실행 가능한 데이터셋 (ImageNet 제외) 으로 제한됨을 지적합니다. 그들은 이미지 생성 문제를 해결했다고 주장하기보다는, 현재 평가 프레임워크 내에서 충실도 - 다양성 트레이드오프를 더 잘 균형 잡는 방법을 제공했다고 주장합니다.