🤖 machine learning

Flatness and Gradient Alignment Are Both Necessary: Spectral-Aware Gradient-Aligned Exploration for Multi-Distribution Learning

본 논문은 다중 분포 학습에서 과잉 위험을 최소화하기 위해 손실 지형의 평탄성과 기울기 정렬이 구조적으로 필수적임을 입증하여, 스펙트럼 인지 교란과 등방성 잡음 주입을 통해 이러한 특성을 동시에 최적화함으로써 도메인 일반화 및 다중 작업 학습에서 최첨단 성능을 달성하는 새로운 방법인 SAGE 를 제안한다.

원저자: Aristotelis Ballas, Christos Diou

게시일 2026-05-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Aristotelis Ballas, Christos Diou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 쉬운 언어와 일상적인 비유를 사용하여 설명한 것입니다.

큰 그림: "충분히 좋은" 것은 충분하지 않은 이유

안개 낀 광활한 산맥에서 가장 좋은 캠핑 장소를 찾으려 한다고 상상해 보세요. 당신은 다음과 같은 장소를 원합니다:

평평한 곳: 작은 바람이 불어도 텐트가 미끄러지거나 무너지지 않도록 (이를 평탄성이라고 합니다).
합의된 곳: 서로 다른 길을 걸어온 다섯 명의 가이드에게 물어보면 모두 같은 장소를 가리키고 안전하다고 동의할 수 있도록 (이를 기울기 정렬이라고 합니다).

오랫동안 연구자들은 이 두 가지 중 하나만 신경 쓰면 된다고 생각했습니다. 어떤 방법들은 가장 평평한 땅을 찾았고, 다른 방법들은 모든 가이드가 동의하는 장소를 찾았습니다.

이 논문은 두 가지가 모두 필요하다고 주장합니다.

저자인 아리스토텔리스 발라스와 크리스토스 디우는 수학적 "함정"을 발견했습니다. 그들은 완벽하게 평평한 곳이지만 가이드들이 서로 소리 지르며 극심하게 이견을 보이는 장소를 가질 수 있음을 증명했습니다. 반대로 모든 가이드가 동의하는 곳이지만, 아주 작은 바람에도 넘어질 수 있는 칼날처럼 날카로운 정상 위에 위치할 수도 있습니다.

평탄성만 보면 가이드들이 싸우는 평평한 계곡에 도착할 수 있습니다. 합의만 보면 위험하게 불안정한 완벽한 합의 장소에 도착할 수 있습니다. 여정을 살아남기 위해 (새롭고 보지 못한 상황에 잘 일반화하기 위해) 평평하고 동시에 합의된 장소를 찾아야 합니다.

기존 방법의 문제점

현재의 AI 학습 방법을 하나의 도구만 가진 등산객으로 생각해 보세요:

"평탄성" 등산객 (SAM 등): 그들은 땅을 찌르기 위해 긴 막대를 들고 다닙니다. 땅이 너무 기울어지면 이동합니다. 그들은 평평한 장소를 찾지만, 가이드들이 논쟁하는지 여부는 신경 쓰지 않습니다. 그들은 절반의 가이드가 "왼쪽으로 가라"고 하고 나머지 절반이 "오른쪽으로 가라"고 하는 평평한 장소를 찾을 수 있습니다.
"정렬" 등산객: 그들은 다섯 명의 가이드가 모두 같은 방향을 가리킬 때만 이동합니다. 그들은 합의를 찾지만, 어느 방향으로 한 걸음만 내딛어도 재앙이 일어나는 작은 날카로운 바늘 끝 위에 서 있을 수 있습니다.

이 논문은 이 두 가지 목표가 종종 서로 반대 방향으로 당긴다고 보여줍니다. 하나만 고치고 나머지는 무시할 수 없습니다.

해결책: SAGE (스마트 탐험가)

저자들은 SAGE(Spectral-Aware Gradient-Aligned Exploration, 스펙트럼 인식 기울기 정렬 탐험) 라는 새로운 방법을 제안합니다. SAGE 를 초지능 나침반과 안전 그물을 가진 등산객으로 생각해 보세요.

SAGE 는 완벽한 캠핑 장소를 찾기 위해 두 가지 일을 동시에 수행합니다:

1. "모든 방향" 프로브 (평탄성 수정)

기존 방법들은 등산객이 현재 걷고 있는 방향으로 땅을 찌릅니다. 등산객이 빠르게 걷는다면 찌르는 힘은 크고, 느리게 걷는다면 찌르는 힘은 작습니다. 이는 신뢰할 수 없습니다.

SAGE 의 트릭: 한 방향으로 찌르는 대신, SAGE 는 뉴턴 - 슈르츠 반복법이라는 것에 기반한 특별한 수학적 "직교화기"를 사용합니다. 방향의 엉킨 밧줄을 펴서 한 번에 모든 단일 방향으로 땅을 같은 힘으로 찌르도록 만드는 것입니다.

비유: SAGE 는 단일 막대로 땅을 찌르는 대신, 완벽하게 둥글고 무거운 공을 떨어뜨립니다. 이는 모든 방향으로 땅의 안정성을 동시에 테스트합니다. 어떤 방향으로든 땅이 흔들리면 SAGE 는 그곳이 좋은 장소가 아니라는 것을 알게 됩니다. 이는 해답이 특정 한 방향에서만 평평한 것이 아니라, 진정으로 평평하도록 보장합니다.

2. "이견" 노이즈 (정렬 수정)

가이드들 (서로 다른 데이터 소스 또는 작업) 이 논쟁을 시작할 때, SAGE 는 단순히 무시하거나 강제로 동의시키지 않습니다. 대신 등산객의 발걸음에 약간의 "흔들림"이나 "노이즈"를 추가합니다.

비유: 등산객이 어떤 장소를 향해 걷고 있다고 상상해 보세요. 모든 가이드가 "북쪽으로 가라"고 말하면 등산객은 곧바로 걷습니다. 하지만 가이드들이 논쟁을 벌일 때 (어떤 이는 북쪽, 어떤 이는 남쪽이라고 함), SAGE 는 등산객의 발걸음에 약간의 무작위 떨림을 추가합니다. 이 떨림은 등산객이 그 특정 장소를 피하도록 망설이게 만듭니다.
왜? 이 "떨림"은 가이드들이 싸우는 지역으로부터 등산객을 밀어냅니다. 이는 등산객이 가이드들이 자연스럽게 동의하는 장소를 찾도록 강요합니다. 노이즈가 방향을 틀어지게 하지 않는 유일한 곳이 바로 그곳이기 때문입니다.

결과: 경주에서 승리

저자들은 SAGE 를 두 가지 유형의 도전 과제에서 테스트했습니다:

도메인 일반화: AI 가 다른 장소에서 찍은 사진들 (예: 스케치, 만화, 실제 사진) 에서 사물을 인식하도록 가르쳐, AI 가 본 적 없는 새로운 유형의 사진에서도 작동하도록 하는 것.
다중 작업 학습: 하나의 AI 에게 여러 가지 일을 동시에 하도록 가르치는 것 (예: 거리 장면에서 사물을 식별하고 동시에 사물까지의 거리를 추정하는 것).

결과:

"도메인 일반화" 도전 과제 (DomainBed 라는 유명한 벤치마크) 에서 SAGE 는 다른 모든 방법을 제치고 새로운 기록을 세웠습니다.
"다중 작업" 도전 과제에서 SAGE 는 범용 업그레이드처럼 작용했습니다. 기존 AI 학습기에 SAGE 를 추가했을 때, 그 학습기들은 처음부터 다시 구축할 필요 없이 업무 수행 능력이 향상되었습니다.

요약

이 논문은 견고한 AI 를 구축하기 위해서는 단순히 "평평한" 해답이나 "합의된" 해답만 찾아서는 안 된다고 증명합니다. 모든 방향에서 평평하고 모든 데이터 소스에 의해 합의된 해답이 필요합니다. 새로운 방법인 SAGE는 모든 방향으로 동시에 땅을 찌르고, 데이터 소스들이 이견을 보이는 장소에서 AI 를 흔들어 밀어냄으로써 이를 달성합니다.

기술 요약: 평탄성과 기울기 정렬은 모두 필수적입니다

문제 제기

도메인 일반화 (DG) 및 다중 작업 학습 (MTL) 과 같은 다중 분포 학습 환경에서 기존 최적화 방법들은 손실 지형의 단일 기하학적 속성, 즉 최소값의 평탄성(Sharpness-Aware Minimization, SAM) 이나 서로 다른 분포 간의 기울기 정렬(Gradient Alignment) 중 하나만을 목표로 합니다.

저자들은 이러한 분리가 구조적으로 불충분하다고 주장합니다. 평탄한 최소값이 분포별 기울기가 상충하는 지역에 위치할 경우, 보이지 않는 도메인에서의 일반화 성능이 저하될 수 있습니다. 반대로, 잘 정렬된 기울기를 가진 최소값이 날카로운 분지 (basin) 에 위치할 경우, 해가 교란에 민감해질 수 있습니다. 현재 문헌은 이러한 두 속성 간의 상호작용에 대한 공식적인 분석이 부족하며, 종종 이를 독립적인 목표로 취급합니다.

이론적 분석

이 논문은 평탄성과 기울기 정렬이 독립적이며 함께 최적화되어야 함을 보여주는 이론적 기반을 확립합니다.

과잉 위험 분해 (Theorem 1):
저자들은 다중 분포 학습에서 1 차 경험적 최소화자에 대한 과잉 위험 분해를 유도합니다. 기대 과잉 위험은 두 개의 가산적 주항 (leading-order terms) 으로 구성됨이 입증됩니다:

정렬 항 (Alignment Term): $\frac{1}{2K} \text{tr}(\bar{H}^{-1}\Sigma_g)$ 로 스케일링되며, 여기서 $\bar{H}$ 는 평균 헤시안 (curvature) 이고 $\Sigma_g$ 는 분포 간 기울기의 공분산입니다.
곡률 항 (Curvature Term): $\frac{\sigma^2}{2} \text{tr}(\bar{H})$ 로 스케일링되며, 지형의 날카로움을 나타냅니다.

중요하게도, $\bar{H}$ 는 정렬 항에서는 역행렬로, 곡률 항에서는 역행렬 없이 나타납니다. 이러한 구조적 트레이드오프는 헤시안을 재형성하여 한 항을 최소화하는 것이 다른 항을 엄격하게 증가시킬 수 있음을 시사합니다.

분리 결과 (Counterexample 1):
하나의 속성을 최적화하는 것이 다른 속성을 보장하지 않음을 증명하기 위해, 저자들은 2 차 손실 함수 계열 내에서 반례를 제시합니다. 임의의 $M > 0$ 에 대해 다음과 같은 문제 사례들이 존재함을 보여줍니다:

평탄하지만 정렬되지 않음: 낮은 곡률 ( $\text{tr}(\bar{H})$ ) 이지만 높은 기울기 불일치 ( $\text{tr}(\bar{H}^{-1}\Sigma_g)$ ).
정렬되었지만 날카로움: 낮은 기울기 불일치이지만 높은 곡률.
이는 두 양이 서로를 구속하지 않으며, 한 항만을 목표로 하는 알고리즘은 낮은 과잉 위험을 보장할 수 없음을 확인시켜 줍니다.

방법론: SAGE

이 분해에 영감을 받아, 저자들은 두 가지 휴리스틱 메커니즘을 통해 곡률과 정렬 항을 동시에 목표로 하는 SAGE(Spectral-Aware Gradient-Aligned Exploration) 알고리즘을 제안합니다.

1. 스펙트럼 교란 (곡률 목표)

기존 SAM 은 기울기 스케일 교란 ( $\epsilon \propto \nabla L$ ) 을 사용하는데, 이는 곡률 정보를 무시하고 기울기 벡터의 방향에 지배받습니다. SAGE 는 이를 등방성 스펙트럼 교란으로 대체합니다:

직교화: 기울기 $G$ 를 가진 각 층의 가중치 행렬 $W$ 에 대해, SAGE 는 직교 극 인자 $Q = UV^T$ 를 계산합니다 (여기서 $G = U\Sigma V^T$ 는 SVD 입니다). 이는 모든 특이값을 1 로 설정하여 기울기의 방향적 구조는 유지하면서 모든 스펙트럼 방향에 걸쳐 크기를 균등화합니다.
효율적 계산: 전체 SVD 대신 SAGE 는 행렬 곱셈만 사용하여 3 차 수렴하는 Newton–Schulz 반복법을 사용하여 $Q$ 를 근사합니다.
스케일 적응성: 교반 반경은 가중치 행렬의 Frobenius 노름 ( $\|W\|_F$ ) 으로 스케일링되어, 매개변수 재매개변수화 (예: $W \to \alpha W$ ) 에 대해 날카로움 측정이 불변임을 보장합니다.

2. 기울기 정렬 노이즈 주입 (정렬 목표)

$\Sigma_g$ 를 직접 추정하는 계산 부하 없이 정렬 항을 해결하기 위해, SAGE 는 하강 단계에서 등방성 가우시안 노이즈를 주입합니다:

노이즈 크기: 노이즈 스케일 $\beta$ 는 분포 간 기울기의 평균 쌍별 코사인 유사도로 정의된 기울기 합의 $S(\theta)$ 에 반비례합니다. 구체적으로, $\beta = \gamma(1 - S(\theta))$ 입니다.
메커니즘: 기울기가 상충할 때 ( $S(\theta) \ll 1$ ), 중요한 노이즈가 주입되어 최적화자가 고충돌 영역에서 벗어나도록 편향을 줍니다. 기울기가 정렬될 때 ( $S(\theta) \approx 1$ ), 노이즈는 사라집니다.

실험 결과

SAGE 는 5 개의 도메인 일반화 벤치마크 (PACS, VLCS, OfficeHome, TerraIncognita, DomainNet) 와 2 개의 다중 작업 학습 벤치마크 (Cityscapes, NYU-v2) 에서 평가되었습니다.

도메인 일반화: SAGE 는 DomainBed 벤치마크에서 78.9% 의 새로운 최첨단 평균 정확도를 달성하여, 전문 DG 방법 (예: BOA 의 78.1%) 및 날카로움 인식 적응 방법 (예: SAGM 의 76.4%) 을 능가했습니다.
다중 작업 학습: SAGE 는 기본 MTL 솔버에 대한 범용 개선책으로 작용했습니다. FairGrad, LS, MGDA 와 같은 솔버와 통합될 때 일관되게 성능을 향상시켜, 단일 작업 학습 기준 대비 작업별 성능 저하를 감소시켰습니다.
절대 실험 (Ablation Studies): SAGE 의 각 구성 요소 (Newton-Schulz 직교화, 가중치 스케일링, 노이즈 주입) 가 최종 성능에 긍정적으로 기여한다는 것이 실험을 통해 확인되었습니다.

중요성 및 주장

이 논문은 다중 분포 환경에서의 견고한 일반화는 동시에 방향 전반에 걸쳐 평탄하며 향상된 기울기 합을 보이는 최소값을 필요로 한다고 주장합니다.

이론적 기여: 이 연구는 정렬 항과 곡률 항을 명시적으로 분리하는 최초의 공식적 과잉 위험 분해를 제공하며, 반례를 통해 그 독립성을 증명합니다.
알고리즘적 기여: SAGE 는 환경별 기울기 저장 (코사인 유사도에 필요한 것 이상) 이나 보조 최적화 문제 해결 없이 두 가지 기하학적 속성 모두를 해결하는 경량형, 즉시 적용 가능한 최적화자 단계 대체제를 제공합니다.
실용적 영향: 이 방법은 표준 DG 벤치마크에서 새로운 최첨단을 확립하고, 기존 MTL 솔버를 개선함으로써 다양성을 입증하여, 평탄성과 정렬 간의 트레이드오프가 이전 방법들이 간과해 온 다중 분포 학습의 근본적 제약임을 시사합니다.

저자들은 이론적 보장이 점근적이며 국소적 (정상점 근처에서 유효) 이며, 경험적 이득이 강력함에도 불구하고 MTL 에서 매우 전문화된 방법들과 비교할 때 모든 단일 지표에 걸쳐 균일하게 최첨단은 아니라는 한계를 인정합니다. 또한 Newton-Schulz 반복과 분포별 기울기 계산으로 인한 추가적인 단계별 계산 비용도 지적합니다.