💻 computer science

Controllable Texture Tiling with Transformed RoPE-Enhanced Diffusion Models

본 논문은 좌표 변환 회전 임베딩(Coordinate-Transformed Rotary Embedding) 메커니즘과 분리된 어텐션 마스크(Disjoint Attention Mask)를 통해 구조적 무결성과 장면 일관성을 유지하면서 패턴의 주파수, 방향 및 스케일에 대한 정밀한 제어를 달로하는 고충실도 텍스처 타일링을 위한 새로운 디퓨전 트랜스포머 프레임워크를 제안한다.

원저자: Junrong Huang, Zhiyuan Zhang, Rui Tang, Hongbo Fu, Jnig Liao

게시일 2026-06-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junrong Huang, Zhiyuan Zhang, Rui Tang, Hongbo Fu, Jnig Liao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아름답고 고해상도인 방 사진이 있고, 그중 특정 벽면의 벽지만 바꾸고 싶다고 상상해 보세요. 당신은 정말 마음에 드는 새로운 벽지 패턴 이미지를 가지고 있지만, 이것이 단순히 위에 붙여놓은 스티커처럼 보이는 것이 아니라 실제로 벽에 '칠해진' 것처럼 보이기를 원합니다.

현재의 AI 도구들이 어려움을 겪는 두 가지 문제가 있습니다:

"스티커 효과": 패턴을 그냥 붙여넣기는 하지만, 평면적으로 보이고 벽의 모서리를 감싸거나 곡면을 따라 흐르지 못할 수 있습니다.
"흐릿한 복사본 효과": 패턴을 맞추기 위해 원래 이미지를 찌그러뜨리거나 늘리다 보니, 미세한 디테일(예: 직물의 아주 작은 짜임이나 나무의 결)이 흐릿한 덩어리로 변해버립니다.

이 논문은 이러한 문제들을 해결하는 새로운 AI 방법론인 ControlTile을 소개합니다. 이 기술이 어떻게 작동하는지 쉬운 비유를 통해 설명해 드리겠습니다.

1. "그림을 움직이는 것이 아니라, 지도를 움직이는 것" (Moving the Map, Not the Paint)

대부분의 AI 도구는 벽에 맞추기 위해 벽지 이미지를 물리적으로 왜곡하려고 시도합니다(마치 고무판을 늘리는 것처럼 말이죠). 이는 마치 인쇄된 지도를 지구본에 맞추기 위해 늘리는 것과 같습니다. 선들은 왜곡되고 디테일은 흐릿해집니다.

저자들이 개발한 비법은 Transformed RoPE라고 불리는 기술입니다.

비유: 거대한 창고에서 하는 '숨바꼭질' 게임을 상상해 보세요. AI는 술래이고, 벽지 패턴은 숨어 있는 사람입니다.
작동 원리: AI는 사람(벽지의 픽셀)을 새로운 위치로 직접 옮기는 대신, 그들을 찾기 위해 사용하는 지도를 변경합니다. AI에게 "패턴을 찾을 때, 좌표가 회전되거나 축척이 조정된 것처럼 간주하라"고 명령하는 것입니다.
결과: AI는 원래의 완벽한 고해상도 벽지 패턴을 가져와서, 원래 이미지를 한 번도 늘리거나 흐릿하게 만들지 않고도 당신이 원하는 정확한 위치에 배치합니다. 이는 이미지를 끌어다 놓는 것이 아니라, 완벽한 패턴을 올바른 위치로 '텔레포트'시키는 것과 같습니다.

2. "방음실" (Disjoint Attention Mask)

AI가 참조 이미지로부터 학습할 때, 가끔 혼란을 겪을 수 있습니다. 새로운 벽지의 질감을 배경에 있는 기존 가구의 색상과 실수로 섞어버려, 결과물이 탁하고 지저분해질 수 있습니다.

저자들은 Disjoint Attention Mask를 사용합니다.

비유: AI를 레시피를 따라 하려는 요리사라고 생각해 보세요. "참조 텍스처"는 마스터 셰프이고, "배경"은 소음이 가득한 주방입니다.
작략 원리: 저자들은 마스터 셰프와 소음이 심한 주방 사이에 방음 유리벽을 설치했습니다. AI는 마스터 셰프를 보고 정확한 레시피(질감)를 배울 수 있지만, 주방의 소음(배경 가구)이 레시피를 망치도록 새어 들어올 수는 없습니다.
결과: 새로운 벽지는 원래의 참조 이미지와 같이 선명하고 진실하게 유지되면서도, 방의 조명 및 그림자와 완벽하게 어우러집니다.

3. "3D GPS" (Latent Fusion)

패턴이 완벽하더라도, 그것이 평면적인 종이가 아니라 3D 물체 위에 있는 것처럼 보여야 합니다.

이 시스템은 깊이 및 조명 맵(3D GPS와 태양 추적기 같은 역할)을 사용합니다.

비유: 선물을 포장한다고 상상해 보세요. 단순히 종이를 테이프로 붙이는 것이 아니라, 상자를 감싸듯 접어서 붙입니다.
작동 원리: AI는 벽의 3D 형태(곡선인지, 평면인지)와 조명(태양이 어디서 비치는지)을 살핍니다. 그런 다음 텍스처를 물체 주위로 "접어서" 입혀서 그림자와 하이라이트가 실제 세상과 일치하도록 만듭니다.
결과: 벽지가 실제 세상의 그림자와 곡선을 반영하여, 벽 위에 물리적으로 존재하는 것처럼 보입니다.

무엇을 테스트했나요?

연구팀은 AI를 학습시키기 위해 15,000개의 연습 장면(컴퓨터 생성 이미지와 실제 사진의 혼합)으로 구성된 거대한 라이브러리를 구축했습니다. 그리고 이를 FLUX나 MatSwap 같은 현재 최고의 도구들과 비교 테스트했습니다.

점수: 테스트 결과, 사용자들은 이 방식이 얼마나 사실적인지에 대해 42%의 확률로 이 방법을 최고로 선택했으며, 사용자의 지시(예: 패턴을 45도 회전하기)를 얼마나 잘 따르는지에 대해서는 91%의 확률로 이 방법이 가장 우수하다고 평가했습니다.
비교: 다른 도구들은 패턴을 흐릿하게 만들거나, 3D 형태를 따라가도록 만드는 데 실패했습니다. 반면, 이 새로운 방식은 디테일을 선명하게 유지하면서도 형태를 완벽하게 구현했습니다.

요 요약

이 논문은 이미지의 텍스처를 바꾸는 새로운 방법을 제시합니다. 이는 마치 어떤 3D 형태에도 단 하나의 픽셀 디테일도 잃지 않고 회전, 축척 조절, 굴곡 조절이 가능한 완벽한 고해상도 도장을 가진 것과 같습니다. 이는 이미지를 물리적으로 찌그러뜨리는 대신 AI의 내부 "GPS"를 속임으로써 가능하며, 디자인의 순수성을 유지하기 위해 "방음벽"을 사용합니다.

기술 요약: 변형된 RoPE가 강화된 확산 모델을 이용한 제어 가능한 텍스처 타일링 (Controllable Texture Tiling with Transformed RoPE-Enhanced Diffusion Models)

1. 문제 정의

사용자가 지정한 텍스처를 장면 이미지에 통합하는 것은 컴퓨터 그래픽스 및 이미지 편집의 핵심적인 과제입니다. 기존의 재질 전이(material transfer) 및 참조 가이드 인페인팅(reference-guided inpainting) 방식(예: FLUX.1-dev-Fill, ZeST, MatSwap)은 표면 외관을 편집할 수 있지만, **텍스처 타일링(texture tiling)**의 구체적인 요구 사항을 충족하는 데 어려움을 겪습니다. 현재의 접근 방식은 세 가지 주요 한계점에 직면해 있습니다:

정밀한 제어의 부족: 학습된 분포에 기반하여 패턴을 "환각(hallucinating)"하는 경향이 있어, 주파수, 방향, 스케일과 같은 사용자가 정의한 공간적 파라미터에 엄격하게 부합하지 못하는 경우가 많습니다.
파괴적인 리샘플링(Destructive Resampling): 명시적인 픽셀 워핑(pixel warping, 예: MatSwap)이나 크로스 어텐션(cross-attention) 메커니즘에 의존하는 방식은 파괴적인 다운샘플링을 초래하여 고주파 디테일과 구조적 충실도를 손실시킵니다.
의미론적 누출(Semantic Leakage): 기존 모델들은 원본 장면의 일관된 조명과 기하학적 구조를 보존하지 못하거나, 참조 피처(feature)가 편집되지 않은 배경 영역으로 번지는 현상을 방지하지 못합니다.

핵심 과제는 공간적 조작과 콘텐츠 생성을 분리하여, 참조 텍스처의 정체성과 장면의 물리적 일관성을 모두 보존하면서 제어 가능하고 고충실도인 텍스처 타일링을 달하는 것입니다.

2. 방법론

저자들은 확산 트랜스포머(Diffusion Transformer, DiT) 아키텍처, 특히 FLUX.1-Kontext-dev 모델을 활용한 새로운 프레임워크를 제안합니다. 이 접근 방식은 두 가지 핵심적인 기술 혁신을 통해 텍스처 매핑을 특화된 시각적 조건부 인페인팅 작업으로 재정의합니다.

A. 좌표 변형 회전 위치 임베딩 (Transformed RoPE)

입력 텍스처 픽셀을 물리적으로 워핑(픽셀 손실 유발)하는 대신, 이 방법은 공간적 변환을 어텐션 메커니즘에 직접 주입합니다.

메커니즘: 본 프레임워크는 토큰 간의 상대적 거리를 통해 공간적 인식을 인코딩하는 2D 회전 위치 임베딩(Rotary Positional Embeddings, RoPE)을 활용합니다.
구현: 회전, 스케일링, 이동을 포함한 사용자 정의 아핀 변환( $\mathcal{T}$ )이 셀프 어텐션(Self-Attention) 과정 중 참조 키(key)와 값(value)의 위치 임베딩에 직접 적용됩니다.
효과: 이를 통해 모델은 참조 텍스처를 하나의 단위로 취급하고 "암시적 생성형 타일링(Implicit Generative Tiling)"을 수행할 수 있습니다. 어텐션 메커니즘은 명시적인 픽셀 리샘플링 없이도 변형된 좌표를 기반으로 참조 단위로부터 고충실도 피처를 추출하며, 이를 통해 잠재 피처(latent features)의 전체 스펙트럼 충실도를 보존합니다.

B. 분리된 어텐션 마스킹 (Disjoint Attention Masking)

의미론적 누출을 방지하고 구조적 무결성을 보장하기 위해, 저자들은 토큰 시퀀스를 세 가지 서로 소인(disjoint) 하위 집합으로 분할하는 특화된 어텐션 마스크를 도입합니다.

참조 토큰 ( $\mathcal{S}_{ref}$ ): 오직 자기 자신에게만 어텐션을 수행하도록 제한됩니다. 이는 참조 텍스처가 배경 간섭으로부터 보호받도록 하며 색상 번짐을 방지합니다.
배경 토큰 ( $\mathcal{S}_{bg}$ ): 장면에 어텐션을 수행할 수는 있으나, 참조 토큰으로부터의 어텐션은 엄격히 차단되어 참조 텍스처가 편집되지 않은 컨텍스트를 변화시키는 것을 방지합니다.
인페인팅 대상 토큰 ( $\mathcal{S}_{mask}$ ): 텍스처 피처를 얻기 위한 참조(reference)와 전역 조명 및 기하학적 구조를 위한 배경(background) 모두에 대한 완전한 가시성을 부여받습니다.

C. 시스템 파이프라인

시스템은 소스 이미지( $I_{src}$ ), 타겟 마스크( $M$ ), 참조 텍스처( $I_{ref}$ ), 그리고 변환 파라미터( $\mathcal{T}$ )를 입력으로 받습니다.

기하학적 사전 지식 (Geometric Priors): 상위 추정기(upstream estimators)를 사용하여 추출된 깊이 맵( $D$ )과 이라디언스 맵( $L$ )이 잠재 공간(latent space)으로 인코딩되어, 표면 법선(normals)과 셰이딩에 따라 타일링 패턴을 조절합니다.
잠재 융합 (Latent Fusion): 타겟 잠재 변수는 노이즈가 섞인 잠재 변수, 편집되지 않은 배경, 마스크, 그리고 기하학적 사전 지식을 결합하여 구성됩니다. 참조 텍스처는 채널 차원에 맞게 제로 패딩(zero-padding)된 후 시퀀스 차원을 따라 결합됩니다.
학습: 모델은 두 단계로 학습됩니다. 먼저, 기본적인 타일링 메커니즘을 학습하기 위해 Blender 서브셋(14,000개 샘le)에서 학습한 후, 현실 세계와의 격차를 줄이기 위해 물리 기반 렌더링 엔진을 사용한 적응(Adaptation) 서브셋(1,300개 샘플)에서 미세 조정(fine-tuning)을 진행합니다.

3. 주요 기여

변형된 RoPE를 통한 고충실도 타일링: 본 논문은 2D 아핀 변환을 회전 위치 임베딩에 직접 주입하는 메커니즘을 소개합니다. 이는 파괴적인 픽셀 워핑을 피함으로써 정밀한 공간 제어를 가능하게 하고 고주파 디테일을 보존합니다.
분리된 어텐션 제어: 참조 조건과 배경 사이의 피처 누출을 제거하여, 편집되지 않은 영역의 아티팩트(artifact)를 없애고 예시(exemplar)의 구조적 무결성을 보장하는 전용 마스킹 전략을 제안합니다.
벤치마크 데이터셋: 저자들은 표준화된 텍스처 편집 제어 평가 프로토콜을 구축하기 위해, 정답 변환 행렬(ground-truth transformation matrices)과 밀집된 시맨틱 마스크를 포함한 15,000개의 다양하고 고품질인 장면-텍스처 쌍으로 구성된 대규모 데이터셋을 공개합니다.

4. 실험 결과

본 방법론은 합성 및 실제 세계 데이터셋 모두에서 최신 베이스라인 모델들(FLUX.1-Fill-dev, FLUX.2-dev, ZeST, MaterialFusion, MatSwap)과 비교 평가되었습니다.

텍스처 충실도: 합성 데이터에서 제안된 방법은 모든 지표(LPIPS, CLIP-Score, Gram Matrix Loss)에서 최첨단 성능을 달성하였으며, 베이스라인들을 상당한 차이로 앞질렀습니다. 실제 세계 데이터의 경우, 사용자 조사에서 42.0%의 Top-1 선호율을 기록하여, 그다음으로 우수한 방법인 MatSwap(9.8%)보다 현저히 높은 수치를 보였습니다.
공간 제어 가능성: 베이스라인들이 미리 워핑된 입력을 사용하도록 강제된 절제 연구(ablation studies) 및 비교 실험에서, 제안된 방법은 우수한 기하학적 정밀도를 입증했습니다. 베이스라인들이 에일리어싱(aliasing), 구조적 저하, 또는 3D 표면 위상 구조를 무시하는 "복사-붙여넣기" 편향을 겪는 반면, 본 방법은 복잡한 회전, 스케일링, 심지어 비아핀(non-affine) 주입까지 성공적으로 처리했습니다.
절제 분석 (Ablation Analysis): 분리된 어텐션 마스크를 제거하면 의미론적 오염과 구조적 명확성 저하가 발생했습니다. 암시적 좌표 주입을 명시적 픽셀 공간 워핑(Global 또는 Local Explicit)으로 대체할 경우, 다운샘플링으로 인한 기하학적 불일치와 돌이킬 수 없는 고주파 디테일 손실이 발생했습니다.

5. 의의 및 주장

본 논문은 정밀한 기하학적 편집과 생성적 포토리얼리즘 사이의 간극을 메운다고 주장합니다. 공간적 조작과 시각적 콘텐츠 생성을 분리함으로써, 본 프레임워크는 다음과 같은 솔루션을 제공합니다:

무손실 (Lossless): 명시적인 픽셀 리샘플링을 피함으로써 참조 텍스처의 고주파 디테일을 보존합니다.
물리적 일관성 (Physically Consistent): 깊이 및 이라디언스 사전 지식과의 잠재 융합을 통해 합성된 텍스처를 장면의 원래 조명 및 기하학적 구조와 통합합니다.
제어 가능성 (Controllable): 텍스트나 이미지 프롬프트의 확률적 해석에 의존하는 대신, 엄격하게 준수되는 사용자 정의 아핀 변환을 허용합니다.

저자들은 이 연구가 구조적 제어, 텍스처 충실도, 시각적 사실주의 사이의 최적의 균형을 제공하는 재질 전이(material transfer)의 새로운 SOTA(State-of-the-Art)라고 규정합니다. 또한 VAE 잠재 공간의 해상도 병목 현상, 명시적인 재질 맵(예: 거칠기/roughness)의 부재, 복잡한 기하학적 구조에서 단일 아핀 변환이 급격한 변화를 처리하지 못하는 점 등을 한계점으로 인정하며, 이를 향후 연구 과제로 남겨두었습니다.