🤖 AI

BRACE: Taming Sharp Irregularities via Barycentric Rational Forecasting for Fast Diffusion Transformers Inference

본 논문은 불안정한 미분 기반 다항식 외삽을 대신하여, 급격한 특징의 불규칙성을 효과적으로 처리하면서도 높은 생성 품질을 유지하기 위해 체비쇼프 가중치를 사용하는 수치적으로 안정적인 바리센트 유리 예측 방식을 활용함으로써 디퓨전 트랜스포머(Diffusion Transformers)를 위한 새로운 추론 가속화 방법인 BRACE를 소개한다.

원저자: Jinlong Yang, Jinke Wu, Lizilin, Yao Zhou

게시일 2026-08-11

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Jinlong Yang, Jinke Wu, Lizilin, Yao Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 붓 대신 로봇을 사용하여 걸작을 그리려 한다고 상상해 보세요. 이 로봇은 그림을 완성하기 위해 수천 번의 작고 세심한 발걸음을 내디뎌야 합니다. 이 로보는 '디퓨전 트랜스포머(Diffusion Transformer)'라는 유형의 인공지능으로, 무작위적인 정적 노이즈를 선명한 그림으로 천천히 변화시켜 놀라운 이미지와 비디오를 만들어냅니다. 문제는 이 로봇이 믿을 수 없을 정도로 느리다는 점입니다. 모든 단계를 밟는 데 시간이 너무 오래 걸려서, AI와 채팅하거나 실시간으로 비디오를 생성하는 것과 같은 즐거운 활동에 사용하기 어렵습니다. 이를 빠르게 만들기 위해 과학자들은 로봇에게 "헤이, 모든 단계를 일일이 계산할 필요 없어. 방금 했던 행동을 바탕으로 다음 몇 단계를 추측해 봐"라고 말하는 방법을 시도했습니다. 이것을 '피처 캐싱(feature caching)'이라고 부릅니다. 하지만 기존의 추측 방식은 몇 개의 점을 통과하는 직선을 그려서 롤러코스터의 경로를 예측하려는 것과 같았습니다. 만약 트랙이 갑자기 뒤틀리거나 루프를 그리게 되면, 직선형 추측은 궤도를 벗어나 버려 결과물이 흐릿하거나 이상하게 보이게 됩니다.

이 논문은 그림의 품질을 망치지 않으면서 이 로봇을 더 빠르게 만드는 새로운 방법을 소개합니다. 저자들(쓰촨 대학교 연구팀)은 로봇의 경로가 보통은 매끄럽지만, 가끔 갑작스럽고 날카로운 굴곡이나 뒤틀림을 겪는다는 점에 주목했습니다. 기존의 방법들은 '미분(변화의 속도를 측정하는 멋진 수학적 방법)'에 의존했기 때문에, 이러한 급격한 회전에서 혼란을 느껴 엉뚱하고 부정확한 추측을 내놓았습니다. 연구팀은 BRACE(Barycentric Rational Forecasting with Chebyshev Enhancement)라고 불리는 새로운 방법을 제안합니다. BRACE는 변화의 속도를 측정하는 대신, 로봇이 지나온 실제 경로의 이력을 살펴보고 특수한 수학적 '유리 함수(fraction-based formula, 분수 기반 공식)'를 사용하여 미래를 예측합니다. 이것은 마치 목적지까지 단순히 직선을 그리는 것이 아니라, 구불구불한 길에 완벽하게 밀착되도록 유연하고 신축성 있는 고무줄을 사용하는 GPS와 같습니다. 이러한 유연한 접근 방식을 통해 BRACE는 AI가 한 번에 많은 단계를 건너뛸 수 있게 하여, 이미지를 선명하게 유지하면서도 프로세스를 획기적으로 가속화합니다.

문제점: "직선"의 함정

이 새로운 방법이 왜 필요한지 이해하려면, 당신이 대부분은 직선이지만 몇 군데의 갑작스럽고 날카로운 헤어핀 커브가 있는 도로를 운전하고 있다고 상상해 보세요. 만약 당신이 빠르게 운전하면서 현재 위치에서 직선을 그려 10초 뒤에 도로가 어디에 있을지 예측하려고 한다면, 나무에 들이받거나 절벽 아래로 떨어질 가능성이 높습니다. 이것이 바로 이전의 AI 가속 방법들에서 일어났던 일입니다.

디퓨전 트랜스포머를 빠르게 만드는 기존 방식은 '테일러 전개(Taylor expansion)'를 사용하는 것과 같았습니다. 이는 자동차가 현재 얼마나 빨리 움직이고 있고 그 속도가 어떻게 변하는지(가속도)를 살펴봄으로써 미래를 예측하려는 수학적 도구입니다. 부드럽고 완만한 곡선에는 아주 잘 작동합니다. 하지만 연구진은 AI가 이동하는 '도로'가 항상 매끄럽지는 않다는 것을 발견했습니다. 도로에는 '날카로운 불규칙성', 즉 갑작스럽고 격렬한 방향 변화가 존재합니다. AI가 이러한 급격한 회전을 예측하기 위해 기존의 "직선" 또는 "매끄러운 곡선" 수학을 사용하려고 할 때, 예측은 걷잡을 수 없이 틀어지곤 했습니다. 그 결과는 어땠을까요? AI가 단계를 건너뛰기는 했지만, 생성된 이미지는 왜곡되거나 흐릿해지거나, 눈이 너무 많거나 바퀴가 추가된 자동차처럼 이상한 아티팩트(결함)가 나타나는 현상이 발생했습니다.

해결책: BRACE의 유연한 고무줄

저자들은 변화의 속도를 측정하는 것(급격한 회전 시에는 정확하게 측정하기 어려움) 대신, 차가 최근에 지나온 실제 경로를 보고 점들을 연결하는 더 똑똑한 방법을 사용해야 한다는 것을 깨달았습니다. 그들은 이 새로운 방법을 BRACE라고 부릅니다.

BRACE가 어떻게 작동하는지 간단한 비유를 들어 설명하겠습니다:
당신이 뱀의 몸통 몇 마디를 보고 뱀의 모양을 추측하려고 한다고 가정해 봅시다.

기존 방식 (다항식, Polynomial): 당신은 보이는 모든 마디를 통과하는 하나의 딱딱한 막대기(다항식)를 그리려고 합니다. 만약 뱀이 갑자기 몸을 틀면, 당신의 딱딱한 막대기는 부러지거나 뱀을 놓치게 됩니다.
BRACE 방식 (유리 함수 예측, Rational Forecasting): 딱딱한 막대기 대신, 유연하고 신축성 있는 고무줄(유리 함수)을 사용합니다. 이 고무

함수를 당신이 본 뱀의 마디들에 연결합니다. 고무줄은 유연하기 때문에, 설령 회전이 매우 갑작스럽게 일어나더라도 뱀의 날카로운 움직임을 따라 완벽하게 휘어지고 뒤틀릴 수 있습니다.

기술적인 용어로, BRACE는 '바리센트릭 유리 함수(barycentric rational function)'를 사용합니다. 이것은 그 유연한 고무줄 역할을 하는 멋진 수학 공식입니다. 이 공식은 AI가 이미 계산한 데이터 포인트들(AI의 '피처')을 가져와서, 혼란 없이 자연스럽게 처리할 수 있는 방식으로 결합합니다.

특별한 이유: "체비쇼프(Chebyshev)"라는 비밀 소스

이 고무줄이 더 잘 작동하도록 하기 위해, 저자들은 '적응형 체비쇼프 가중치(Adapted Chebyshev weights)'라고 불리는 것을 추가했습니다. 이것을 고무줄의 특수한 장력 설정이라고 생각하면 됩니다. 고무줄 양 끝을 너무 세게 잡아당기면 고무줄이 끊어지거나 불균형하게 늘어날 수 있습니다. 체비쇼프 가중치는 미래를 예측하기 위해 고무줄이 얼마나 늘어나야 하든 상관없이, 고무줄이 균형을 유지하고 안정적으로 유지되도록 만드는 수학적 트릭입니다.

논문은 이 방법이 믿을 수 없을 정도로 안정적이라는 것을 보여줍니다. AI에게 엄청난 수의 단계를 건너뛰라고 명령해도(예: 1단계에서 20단계로 한 번에 점프), 이 "고무줄"은 끊어지지 않습니다. 그것은 경로를 이탈하지 않고 유지하며, AI가 모든 단계를 천천히 밟았을 때와 마찬가지로 최종 이미지가 훌륭하게 보이도록 보장합니다.

실험 결과가 보여준 것

연구진은 세 가지 다른 유형의 AI 작업에 대해 BRACE를 테스트했습니다:

텍텍스트 기반 이미지 생성: 그들은 FLUX.1-dev라는 모델을 사용했습니다. 복잡한 이미지(예: 사막에 있는 상어 또는 특정 텍스트가 포함된 상점 전경)를 생성하도록 요청했을 때, 기존 방식은 텍스트를 망치거나 디테일을 흐릿하게 만드는 경우가 많았습니다. 그러나 BRACE는 프로세스를 5배 이상 가속화했을 때도 텍스트를 선명하게 유지하고 디테일을 명확하게 유지했습니다.
비디오 생성: 그들은 HunyuanVideo라는 비디오 모델을 테스트했습니다. 비디오 생성에서는 사물이 움직이는데, 예측이 틀리면 움직임이 끊기거나 물체가 사라져 보입니다. BRACE는 움직임을 부드럽게 유지하고, 달리는 말이나 수영하는 사람과 같은 사물들이 자연스럽게 보이도록 관리했습니다.
표준 이미지 생성: ImageNet이라는 고전적인 테스트에서, BRACE는 다른 빠른 방법들과 비교했을 때 가장 높은 품질 점수(FID로 측정, 낮을수록 좋음)를 기록했습니다.

테스트에서 BRACE는 AI를 3.5배에서 5.5배까지 가속할 수 있었습니다. 예를 들어, FLUX.1 모델의 경우 5.55배의 속도 향상을 달면서도 생성된 이미지가 느린 고품질 버전과 거의 동일하게 보이도록 했습니다. 연구진은 다른 방법들이 이 정도의 높은 속도에서는 실패하여 '고스팅(잔상)'이나 '왜곡'을 만들어내기 시작한 반면, BRACE는 안정성을 유지했다는 점을 언급했습니다.

핵심 요약

이 논문은 AI의 모든 문제를 해결했다고 주장하는 것이 아니라, 매우 강력한 새로운 방향을 제시하고 있습니다. 저자들은 AI의 가속화를 생각하는 기존의 방식—경직된 미분 기반 수학을 사용하는 것—이 AI의 학습 경로에 있는 '날카로운 회전'을 처리하기에는 근본적으로 결함이 있었다고 주장합니다. 유연한 유리 함수 방식(BRACE)으로 전환함으로써, 그들은 예술 작품의 품질을 희생하지 않으면서도 이 강력한 이미지 및 비디오 생성기를 훨씬 더 빠르게 만드는 방법을 찾아냈습니다.

이것은 마치 굽이진 산길을 항해하기 위해서 도로를 더 곧게 펴는 것이 아니라, 더 나은 서스펜션 시스템이 필요하다는 것을 깨닫는 것과 같습니다. BRACE는 그 서스펜션을 제공하여, AI가 아름다운 결과라는 경로 위에 단단히 머물면서도 단계를 빠르게 질주할 수 있게 해줍니다.

기술 요약: BRACE

문제 정의

확산 트랜스포머(Diffusion Transformers, DiTs)는 고충실도 이미지 및 비디오 생성에서 최첨단 성능을 달야냈으나, 반복적인 샘플링 과정으로 인해 과도한 계산 오버헤드 문제를 겪고 있다. 이를 해결하기 위해 특징 캐싱(feature caching)이 학습이 필요 없는 가속 전략으로 등장했다. 기존의 "캐시 및 재사용(cache-and-reuse)" 방식은 긴 스킵 간격(skip intervals)에서 품질 저하를 일으키는 반면, 최근의 "캐시 및 예측(cache-and-forecast)" 접근 방식(예: TaylorSeer, HiCache)은 미분 기반의 다항식 외삽(Taylor 확장을 이용한 테일러 전개)을 통해 미래의 특징을 예측하려고 시도한다.

그러나 저자들은 이러한 기존 방법들의 결정적인 병목 현상을 지적한다. DiT의 특징 궤적(feature trajectories)은 전역적으로는 매끄럽지만, 특정 디노이징 구간 동안 급격한 불규칙성과 국소적 비매끄러움(예: 급격한 구조적 변화)을 빈번하게 보인다. 미분 기반의 다항식 방법은 순간 미분의 유한 차분 추정치에 의존한다. 급격한 변곡점(inflection points)에서 이러한 추정치는 불안정해지며, 경직된 다항식은 급격한 변화를 모델링할 수 있는 구조적 적응력이 부족하다. 이는 공격적인 스킵 간격을 사용할 때 심각한 외삽 발산, 진동 및 구조적 무결성 상실로 이어진다.

방법론: BRACE

저자들은 BRACE(Barycentric Rational Forecasting with Chebyshev Enhancement)를 제안한다. 이는 예측 패러다임을 미분 기반의 다항식에서 **특징 기반의 유리 함수 예측(feature-driven rational forecasting)**으로 전환하는 학습이 필요 없는 프레임워크이다.

핵심 구성 요소

로컬 슬라이딩 윈도우 (FIFO 큐):
BRACE는 정밀한 중간 특징 $F_\tau$ 와 타임스텝 $\tau$ 를 포함하는 역사적 상태 튜플 $(F_\tau, \tau)$ 를 캐싱하는 희소한 로컬 슬라이딩 윈도우(용량 $C$ )를 유지한다. 이는 예측 지평을 로컬 윈도우 내로 한정하여, 시간적으로 감쇠된 특징들을 분리하고 궤적이 국소적 매끄러움 제약 조건을 만족하도록 보장한다.
정준 도메인 매핑 (Canonical Domain Mapping):
수치적 안정성을 보장하기 위해, 원시 타임스텝을 아핀 변환을 통해 정준 구간 $[-1, 1]$ 로 매핑한다. 이는 확산 타임스텝을 가중치 체계의 이론적 토대에 정렬시키며, 다양한 스케줄러에 대한 스케일 불변성을 보장한다.
바리센트릭 유리 외삽 (Barycentric Rational Extrapolation):
BRACE는 미분을 추정하는 대신, **제2 바리센트릭 형태(second barycentric form)**의 유리 보간법을 사용하여 원시 역사적 특징을 직접 집계한다:
$F_{pred} = \frac{\sum_{j=1}^{C} \frac{w_j}{x(t_{pred}) - x(\tau_j)} F_{\tau_j}}{\sum_{j=1}^{C} \frac{w_j}{x(t_{pred}) - x(\tau_j)}}$
이 공식은 두 가지 핵심적인 이점을 제공한다:
- 자기 정규화(Self-Normalization): 분모가 예측된 특징을 본질적으로 제한하여, 다항식 외삽에서 흔히 발생하는 무제한 발산을 방지한다.
- 비매끄러움 흡수(Non-Smoothness Absorption): 불안정한 고차 미분에 의존하는 대신 상태를 집계함으로써, 유리 함수는 국소적인 비매끄러움을 자연스럽게 수용할 수 있다.
적응형 체비쇼프 가중치 (Adapted Chebyshev Weights):
가중치 $w_j$ 는 안정성에 매우 중요하다. BRACE는 체비쇼프-가우스-로바토(Chebyshev–Gauss–Lobatto) 노드에서 영감을 얻은 적응형 체계를 채택한다:
$w_j = (-1)^{j+1} \cdot \delta_j$
여기서 $\delta_j$ 는 종단 가중치를 위한 경계 민감도 계수 $\gamma$ 를 포함한다. 저자들은 초희소 용량( $C \le 3$ )의 경우, 이러한 최적 노드들이 수학적으로 등간격 점들과 동일하므로 복잡한 동적 조정 없이 단순한 고정 간격 샘플링이 가능하다고 언급한다.

이론적 안정성

저자들은 BRACE의 외삽 오차가 스킵 간격 $k$ 와 리프시츠 상수 $L$ (1차 미분)에 의해 결정된다는 오차 전파 분석을 제공한다. 이와 대조적으로, 테일러 방법은 $s^{m+1} \|F^{(m+1)}\|_\infty$ 에 비례하는 오차를 발생시키며, 이는 급격한 전환 시 폭발할 수 있다. BRACE는 이론적으로 오차를 제한하여, 공격적인 스킵 상황에서도 예측 가능한 안정성을 보장한다.

주요 기여

BRACE 프레임워크: 희소한 역사적 캐싱과 적응형 체비쇼프 가중치를 바리센트릭 유리 구조 내에서 결합한 새로운 학습 불필요 유리 예측 프레임워크를 제안한다. 이는 수치적 안정성을 확보하고, 미분 기반 방법이 실패하는 급격한 전환을 제어한다.
DiT 역학의 기하학적 분석: 논문은 DiT 진화의 이중적 기하학적 특성(전역적으로는 매끄럽지만 급격한 불규칙함이 수반됨)을 경험적으로 밝혀내며, 유리 기저(rational bases)가 이러한 궤적을 피팅하는 데 있어 다항식보다 본질적으로 우수함을 입증한다.
최첨단 가속화: 광범위한 평가를 통해 BRACE가 다양한 아키텍처와 모달리티에 걸쳐 기존 베이스라인(예: TaylorSeer, HiCache, FORA)을 일관되게 능가함을 보여준다.

실험 결과

BRACE는 세 가지 작업에 대해 평가되었다:

클래스 조건부 이미지 생성 (ImageNet의 DiT-XL/2): BRACE는 다양한 스킵 간격에서 가장 낮은 FID 및 sFID 점수를 달성했다. 3.56배 가속 설정에서 최적의 윈도우 용량은 $C=3$ (FID 2.46)으로 나타났으며, 이는 $C=2$ 및 $C=4$ 보다 우수한 성능을 보였다. 정성적 결과는 베이스라인의 과도한 평활화(over-smoothing) 또는 고스팅 아티팩트와 비교하여 날카로운 디테일과 의미적 구조를 더 잘 보존함을 보여주었다.
텍스트-투-이미지 생성 (FLUX.1-dev): BRACE는 의미적 정렬(ImageReward, CLIP Score) 및 구조적 충실도(SSIM, LPIPS)에서 새로운 최첨단 결과를 세웠다. 특히 5.55배 가속 시, 실험에서는 $C=2$ ( $\gamma=0.7$ 적용) 용량을 사용하여 다른 방법들이 왜곡하거나 흐리게 만든 가독성 있는 타이포그래피와 복잡한 텍스트 구조를 보존했다.
텍스트-투-비디오 생성 (HunyuanVideo): BRACE는 높은 스킵 간격(사용 용량 $C=2$ )에서 가장 높은 VBench 점수(80.14)를 기록하며, 직접 재사용 및 미분 기반 예측을 크게 앞질렀다. 이는 엔티티 손실이나 구조적 아티팩트(예: 추가 팔다리)를 피하며 시공간적 일관성을 성공적으로 유지했다.

절제 연구 (Ablation Studies):

윈도우 용량 ( $C$ ): DiT-XL/2에서 $C=3$ 이 특징 곡률(feature curvature)을 가장 잘 근사했다. $C$ 를 4로 늘리면 장기 외삽 노이즈의 누적으로 인해 성능이 저하되었고, 2로 줄이면 피팅 능력이 약화되었다. 그러나 FLUX 및 비디오의 고속 가속 설정에서는 속도와 충실도의 균형을 맞추기 위해 $C=2$ 설정이 사용되었다.
경계 민감도 ( $\gamma$ ): 지각적 품질은 $\gamma=0.7$ 에서 정점에 도달했으나, 재구성 지표는 1.0을 향해 단조롭게 개선되었다.
가중치 체계: 적응형 체비쇼프 가중치가 Uniform, Berrut, Floater-Hormann 체계를 능가하여, DiT 특징의 비대칭적 시간 역학에 대한 적합성을 확인시켜 주었다.

의의

본 논문은 BRACE가 현재의 가속 전략의 근본적인 한계, 즉 DiT 특징 궤적에 내재된 "뻣뻣한(stiff)" 시스템 동작과 급격한 불규칙성을 다항식 외삽이 처리하지 못하는 문제를 해결한다고 주장한다. 특징 기반의 유리 예측 패러다임으로 전환함으로써, BRACE는 계산 오버헤드를 거의 늘리지 않으면서도 높은 충실도를 유지하며 우수한 품질-효율성 트레이드오프를 달성한다. 저자들은 이 연구를 단순한 개선을 넘어, 공격적인 가속 환경에서도 높은 충실도를 유지할 수 있는 강력한 대안으로서의 구조적 변화라고 규정한다.