🤖 machine learning

A Constrained Optimization Perspective of Unrolled Transformers

본 논문은 트랜스포머가 레이어 전반에 걸쳐 손실을 단조 감소시키고, 분포 내 성능을 유지하면서도 강건성과 분포 외 일반화 능력을 향상시킬 수 있도록 프라이멀-듀얼(primal-dual) 학습 체계를 통해 레이어별 하강 제약 조건을 부과하는 제약 최적화 프레임워크를 제안한다.

원저자: Javier Porras-Valenzuela, Samar Hadou, Alejandro Ribeiro

게시일 2026-07-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Javier Porras-Valenzuela, Samar Hadou, Alejandro Ribeiro

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 학생에게 복잡한 퍼즐을 푸는 법을 가르치고 있다고 상상해 보십시오. 표준적인 교실(전통적인 AI 학습)에서는 학생에게 최종 정답을 보여주며 이렇게 말합니다. "이 정답에 가까워지도록 해봐." 그러면 학생은 몇 걸음 앞으로 나아갔다가, 실수로 뒤로 물러났다가, 다시 앞으로 나아가는 등 갈팡질팡하며 요동치며 마침로 정답에 도달할 수도 있습니다. 그곳에 도착할 수는 있겠지만, 그 과정은 매우 무질서하고 불안정했을 것입니다.

이 논문은 다른 방식의 교육법을 제안합니다: 바로 "단계별(Step-by-Step)" 규칙입니다.

저자인 Javier Porras-Valenzuela, Samar Hadou, 그리고 Alejandro Ribeiro는 단순히 최종 정답만을 바라보는 대신, 프로세스의 매 단계마다 위치를 개선하도록 강제해야 한다고 제안합니다. 만약 학생이 퍼즐을 더 어렵게 만들거나 정답에 가까워지지 않는 발걸음을 내디딘다면, 우리는 "아니, 다시 해봐"라고 말해야 합니다.

다음은 이들의 아이디어를 쉬운 비유를 통해 설명한 내용입니다:

1. 문제점: "지그재그"형 학생

표준 AI 모델(Transformer)은 저 지그재그로 움직이는 학생과 같습니다. 이들은 많은 층(건물의 층과 같은)으로 구성되어 있습니다. 데이터가 아래층에서 위층으로 이동함에 따라, 모델은 오류를 수정하려고 노력합니다. 그러나 때때로 모델은 중간 층에서 혼란을 겪을 수 있습니다. 데이터를 더 좋게 만들기 전에 오히려 더 나쁘게 만들 수도 있는 것입니다. 이는 마치 산을 오르려는 등산객이 정상에 도달하기 전, 실수로 골짜기로 내려갔다가 다시 길을 찾아 올라가는 것과 같습니다.

이러한 "지그재그" 현상은 모델을 취약하게 만듭니다. 만약 모델에 약간 다르거나 노이즈가 섞인 입력(예: 흐릿한 사진이나 오타가 있는 문장)을 주면, 모델은 경로의 굴곡을 처리하도록 훈련되지 않았기 때문에 완전히 길을 잃을 수 있습니다.

2. 해결책: "단조 감소(Monotonic Descent)" 규칙

저자들은 **제약 최적화(Constrained Optimization)**라고 불리는 새로운 훈련 방법을 도입합니다. 이것은 건물의 모든 층에 서 있는 엄격한 코치와 같습니다.

규칙: "너는 반드시 아래층에서보다 이 층에서 정답에 최소 10%는 더 가까워져야 한다."
비유: 공이 언덕 아래로 굴러 내려가는 장면을 상상해 보십시오. 표준 모델은 내려가다가 턱에 걸려 살짝 올라갔다가 다시 내려가는 식일 수 있습니다. 저자들의 모델은 완벽하게 매끄럽고 가파른 미끄럼틀 위의 공과 같습니다. 그것은 반드시 계속 내려가야만 합니다. 절대 다시 올라가지 않습니다.

그들은 이를 트랜스포머의 **"언롤링(Unrolling)"**이라고 부릅니다. 보통 "언롤링"은 특정 수학 문제를 풀기 위해 신경망을 구축하는 것을 의미합니다. 여기서 그들은 기존의 표준 AI 아키텍처를 가져와서, 그것이 완벽한 단계별 하강 알고리즘처럼 작동하도록 강제하고 있습니다.

3. 방법론: "프라이멀-듀얼(Primal-Dual)"의 춤

"뒤로 물러서지 마라"는 이 엄격한 규칙을 적용하여 모델을 훈련하는 것은 수학적으로 매우 어렵습니다. 이는 마치 개에게 앉으라고 가르치면서 동시에 짖지 않게 하고, 특정 울타리 안에 머물게까지 해야 하는 것과 같습니다.

저자들은 **프라이멀-듀얼 훈련(Primal-Dual Training)**이라는 영리한 수학적 기법을 사용합니다:

프라이멀 (학생): AI 모델은 작업(텍스트 분류나 비디오 노이즈 제거 등)을 학습하려고 시도합니다.
듀얼 (코치): 별도의 숫자 집합(라그랑주 승수라고 불림)이 엄격한 심판 역할을 합니다. 만약 AI가 "뒤로 물러서지 마라"는 규칙을 어기는 발걸음을 내디디면, 코치는 벌칙을 부여합니다.
춤: 이들은 함께 훈련합니다. AI는 더 나아지려고 노력하고, 코치는 AI가 규칙을 따르도록 벌칙을 조정합니다. 논문은 이 과정이 매우 효율적이며 컴퓨터 성능을 크게 저하시키지 않는다고 주장합니다.

4. 결과: "견고한" 모델

논문은 이 방법을 두 가지 주요 작업에 테스트했습니다: 텍el 분류(언어 이해)와 비디오 디노이징(노이즈가 있는 영상의 깨끗하게 만들기).

"노이즈" 테스트: 모델에 "노이즈"(TV의 정전기나 문장의 오타 등)를 추가하여 테스트했습니다.
- 표준 모델: 노이즈가 높아지면 표준 모델의 성능은 급락했습니다. 이는 마치 바람에 쓰러지는 카드 집과 같았습니다.
- 제약 모델: 노이즈가 높아져도 이 모델은 무너지지 않았습니다. 모델은 바람에 휘어지지만 부러지지는 않는 튼튼한 나무처럼, 성능이 점진적으로 완만하게 저하되었습니다. 입력값이 지저도 모델은 계속 작동했습니다.
"분포 외(Out-of-Distribution)" 테스트: 모델이 본 적 없는 데이터(예: 영화 리뷰로 학습된 RoBERTa 모델을 다른 종류의 텍스트에 테스트하는 경우)를 사용하여 테스트했습니다. 제약 모델은 표준 모델보다 훨씬 더 잘 버텨냈습니다.

5. 왜 이것이 중요한가 (논문에 따르면)

이 논문은 이 방법이 즉각적으로 질병을 치료하거나 자율주행차를 만들 것이라고 주장하지 않습니다. 대신, 이 방법이 특정 문제인 **강건성(Robustness)**을 해결한다고 주장합니다.

사고 과정의 매 단계마다 개선하도록 강제함으로써, 모델은 다음과 같은 특성을 갖게 됩니다:

더 안정적임: 입력의 작은 오류에 혼란을 느끼지 않습니다.
더 신뢰할 수 있음: 본 적 없는 데이터(Out-of-Distribution)에서도 더 나은 성능을 보입니다.
예측 가능함: 모델이 정보를 처리할 때 엄격한 "하강" 경로를 따르기 때문에, 모델이 어떻게 행동하는지 정확히 알 수 있습니다.

요약하자면, 저자들은 강력하지만 때로는 혼란스러운 AI 도구를 가져와서, 그것이 꾸준히 앞으로 나아가도록 만드는 "안전 난간"을 설치함으로써, 현실 세계의 노이즈와 혼돈에 훨씬 더 잘 견딜 수 있게 만들었습니다.

기술 요약: 언롤드 트랜스포머(Unrolled Transformers)에 대한 제약 최적화 관점

문제 정의

최근 문헌들은 트랜스포머 아키텍처를 최적화 문제를 해결하는 반복적 하강 알고리즘(iterative descent algorithms)으로 해석하고 있으나(예: Yang et al., 2022; De Weerdt et al., 2023), 경험적 위험 최소화(Empirical Risk Minimization, ERM)를 통한 표준 학습 방식은 이러한 옵티마이저가 기대하는 단조 하강(monotonic descent) 동작을 강제하는 데 종종 실패한다. ERM으로 학습될 경우, 언롤드 트랜스포머의 중간 표현(intermediate representations)은 레이어를 거치며 손실 함수를 반드시 단조롭게 감소시키지 않는다. 이러한 불일치는 표준 학습이 학습된 파라미터가 에너지 최소화에 필요한 조건을 충족하도록 보장하지 않으며, 언롤드 아키텍처 학습의 이중 구조(bilevel nature)를 고려하지 않기 때문에 발생한다. 결과적으로, 이러한 모델들은 비단조적인 손실 패턴을 보일 수 있으며, 입력 섭동(perturbation) 및 분포 변화(distribution shifts)에 대한 강건성이 저하될 수 있다.

방법론

저자들은 트랜스포머 학습을 **제약 학습 문제(constrained learning problem)**로 취급하는 프레임워크를 제안한다. 단순히 전체 네트워크 출력에 대한 평균 손실을 최소화하는 대신, 이 방법은 각 레이어에서 기대 손실이 단조롭게 감소하도록 강제한다.

1. 제약 공식화 (Constrained Formulation)

핵심 기여는 각 레이어 $l$ 의 출력이 이전 레이어 $l-1$ 에 비해 기대 손실 $f$ 를 $(1 - \alpha_l)$ 비율만큼 감소시켜야 한다는 제약을 가진 제약 최적화 문제를 공식화하는 것이다:
$\begin{aligned} T^* = \arg\min_{T} \quad & \mathbb{E}[f(X, \Phi(X; T))] \\ \text{subject to} \quad & \mathbb{E}[f(X, \Phi_l(X; T))] \leq (1 - \alpha_l) \mathbb{E}[f(X, \Phi_{l-1}(X; T))], \quad \forall l \end{aligned}$
여기서 $\Phi_l$ 은 레이어 $l$ 의 출력을 나타내며, $\alpha_l$ 은 스텝사이즈 스케줄(stepsize schedule)이다. 이 공식화는 트랜스포머가 하강 알고리즘처럼 동작하도록 강제하여, 중간 표현이 목적 함수를 점진적으로 개선하도록 보장한다.

2. 프라이멀-듀얼 학습 알고리즘 (Primal-Dual Training Algorithm)

이 비볼록 제약 문제(non-convex constrained problem)를 해결하기 위해, 저자들은 듀얼 도메인에서 프라이멀-듀얼 학습 방식을 채택한다. 이들은 라그랑주 함수(Lagrangian function)를 다음과 같이 구성한다:
$\mathcal{L}(T, \lambda) = \mathbb{E}[f(X, \Phi(X; T))] + \sum_{l=1}^L \lambda_l \mathbb{E}[f(X, \Phi_l(X; T)) - (1 - \alpha_l)f(X, \Phi_{l-1}(X; T))]$
학습 절차(Algorithm 1)는 다음 과정을 교대로 수행한다:

프라이멀 업데이트(Primal Update): 확률적 경사 하강법을 사용하여 트랜스포머 파라미터 $T$ 에 대해 경험적 라그랑주 함수를 최소화한다.
듀얼 업데이트(Dual Update): 투영 경사 상승법(projected gradient ascent)을 사용하여 라그랑주 승수 $\lambda$ 에 대해 듀얼 함수를 최대화한다.

저자들은 딥 뉴럴 네트워크가 작은 듀얼리티 갭(duality gaps)을 보인다는 최근의 연구 결과(Chamon et al., 2023)를 활용하여, 듀얼 문제가 최적에 가깝고 실행 가능한(near-optimal and near-feasible) 해를 제공할 수 있음을 이용한다. 엄격한 실행 가능성(strict feasibility)을 보장하기 위해, 슬랙 변수(slack variable)와 이차 펜널티(quadratic penalty)를 도입한 탄력적 완화(resilient relaxation)가 도입된다.

주요 기여

본 논문은 네 가지 주요 기여를 설명한다:

제약 학습 공식화: 저자들은 트랜스포서 레이어가 기대 손실을 단조롭게 감소시키도록 명시적으로 제약함으로써, 표준 ERM과는 차별화되는 학습 문제를 공식화하였다.
듀얼 학습 알고리즘 및 수렴 보장: 프라이멀-듀얼 학습 알고리즘을 개발하였으며, 제약된 언롤드 트랜스포머가 통계적 손실의 최적값으로 점근적으로 수렴함을 입증하는 이론적 보장(Theorem 2)을 제공한다. 또한, 분포 변화 하에서도 하강 특성이 유지됨을 증명하는 분포 외(OOD) 일반화 보장(Theorem 4)을 확립하였다.
섭동된 임베딩에 대한 강건성: 텍스트 분류 작업(IMDb, MNLI)에서, 제약된 모델은 토큰 임베딩에 대한 가우시안, 균등 및 이산 섭동에 대해 비제약 베이스라인보다 높은 정확도를 유지함을 보여준다.
비디오 디노이징에서의 강건성: 비디오 디노이징(CUHK Avenue, UCSD, ShanghaiTech)에 적용했을 때, 본 방법은 인-디스트리뷰션(in-distribution) 성능을 유지하면서도 다양한 데이터셋과 아키텍처에 걸쳐 OOD 노이즈 레벨에 대해 더 강건한 RMSE를 달면다.

실험 결과

저자들은 기존 사전 학습된 트랜스포머(DistilBERT, RoBERTa, Llama 3.1)와 언롤드 아키텍처(Deep Unfolded Sequential Transformer - DUST, Unrolled Transformer - UT) 모두에 대해 제안 방법을 평가하였다.

단조 하강 (Monotonic Descent): 제약된 모델은 레이어별 손실의 매끄러운 단조 감소를 보인 반면, 비제약 베이스라인은 비단조적인 패턴과 스파이크(예: RoBERTA의 레이어 19에서의 스파이크)를 보였다.
OOD 강건성:
- 텍스트 분류: 섭동 수준( $\gamma$ )이 증가함에 따라, 제약된 모델은 더 완만하게 성능이 저하되었다. 예를 들어, IMDb 데이터셋에 대한 RoBERTa의 경우, 제약된 모델은 높은 노이즈 수준에서도 비제약 버전보다 현저히 높은 정확도를 유지하였다.
- 비디오 디노이징: 제약된 모델은 다양한 데이터셋과 아키텍처 전반에서 높은 테스트 섭동 수준( $\gamma \geq 1.0$ ) 하에서 일관되게 더 낮은 RMSE를 달성하였다.
- LLM 파인튜닝: Llama 3.1 8B에 적용했을 때, 제약된 모델은 인-디스트리뷰션 성능(노이즈가 없는 상태의 AlpacaEval 50% 승률)을 유지하면서, 노이즈 조건( $\gamma=1.5$ ) 하에서는 비제약 모델을 크게 압도하였다(69.93% 승률).
트레이드오프 (Trade-offs): 본 방법은 일반적으로 미미한 성능 저하(종종 0.3% 미만)와 함께 인-디스트리뷰션 성능을 보존하였으며, 이는 하강 제약을 강제하는 것이 표준 정확도를 희생하지 않음을 시사한다.

의의 및 주장

본 논문은 하강 제약을 강제하는 것이 트랜스포머의 내부 역학을 고전적 최적화 알고리즘의 안정성 속성과 정렬시킨다고 주장한다. 이러한 정렬은 입력 섭동 및 분포 변화에 대한 향상된 강건성에 대한 이론적 및 경험적 근거를 제공한다.

저자들은 이 연구를 알고리즘적 언롤링(네트워크가 최적화 문제를 해결하는 방식)과 제약 학습 사이의 가교 역할을 하는 작업으로 위치시킨다. 저자들은 트랜스포머가 하강하도록 명시적으로 학습함으로써, 노이즈에 대해 본질적으로 더 강건한 모델을 얻을 수 있다고 주장하며, 이는 사용자 프라이버시를 위해 입력 섭동이 필수적인 로컬 차분 프라이버시(local differential privacy) 응용 분야에서 특히 가치가 있다. 이 연구는 "언롤드" 관점이 단순한 이론적 해석이 아니라, 아키텍처 변경 없이도 일반화와 강건성을 실질적으로 향상시키는 유용한 실무적 학습 목표임을 시사한다.