기술 요약: 조향 예산: 노브(Knobs)보다 예시(Examples)가 우월한 이유

문제 정의

생성 모델은 일반적으로 프롬프트, 가이던스 스케일(guidance scales), 또는 속성 태그와 같은 "노브(knobs)"를 사용하여 조향(steering)됩니다. 그러나 실무자들은 이러한 제어 장치들을 한계치까지 밀어붙여도 목표하는 속성(예: 이미지 밝기, 결정 구조의 밴드 갭)을 원하는 만큼 변화시키지 못하는 '하드 천장(hard ceiling)'을 목격합니다. 본 논문은 이러한 한계가 모델의 아키텍처나 학습 과정의 결함이 아니라, 학습 데이터 자체에 의해 설정된 구조적 제약임을 주장합니다.

핵심 문제는 두 가지 유형의 조향 동작을 구분하는 것입니다:

1. 말하기(Telling): 프롬프트나 태그를 통해 목표를 묘사하는 것 (예: "밝은 개"). 이는 특정 범주 내에서 제약 조건을 교집합시키는 연언적(conjunctive) 동작으로, 출력 분포를 좁힙로 만듭니다.
2. 보여주기(Showing): 일련의 예시를 제공하고 "이것들과 유사한 것들"을 요구하는 것. 이는 다양한 인스턴스를 합집합하는 선언적(disjunctive) 동작으로, 말로 표현할 수 없거나 상충하는 속성을 결합해야 하는 목표를 포착할 수 있게 합니다.

본 논문은 "말하기"가 달성할 수 있는 것과 "보여주기"가 달성할 수 있는 것 사이의 격차가 우연한 것이 아니라, 모델이 학습되기 전부터 이미 결정되어 있는 학습 데이터의 분산 구조에 따른 고정된 **예산(budget)**임을 주장합니다.

방법론

이론적 프레임워크: 예산(The Budget)

저자들은 생성 모델의 출력 공간이 "저렴한(cheap)" 레이블 $P$(예: 이미지 클래스, 결정 화학 조성)를 기준으로 **빈(bins, $B$)**으로 분류된다고 정의합니다. "비싼(expensive)" 속성 $L$(예: 미적 점수, 밴드 갭)은 이러한 빈 내부 및 빈 사이에서 변동합니다.

데이터의 총 분산($J$)은 **전체 분산의 법칙(Law of Total Variance)**을 사용하여 두 가지 뚜렷한 예산으로 분해됩니다:

1. 빈 내부 예산 (Within-Bin Budget, $T$): 단일 빈 내부에서의 $L$의 평균 분산입니다. 이는 말하기를 위해 사용 가능한 여지를 나타냅니다. 말하기는 고정된 빈 내에서 출력을 재가중하는 방식으로 작동하므로, 구조적으로 이 예산 안에 갇히게 됩니다.
2. 빈 사이 예산 (Between-Bin Budget, $E$): 서로 다른 빈들 간의 $L$의 평균값들의 분산입니다. 이는 보여주기를 위해 사용 가능한 여지를 나타냅니다. 보여주기는 배치(batch)를 추출하는 방식(즉, $P$라는 "레시피")을 변경하여 빈들의 혼합을 바꿈으로써 이 예산에 접근할 수 있습니다.

총 분산은 다음과 같이 정확히 정의됩니다:
$$\text{Var}_J(L) = \underbrace{\sum_b w_b v_b}_{T \text{ (Within)}} + \underbrace{\sum_b w_b (g_b - \bar{g})^2}_{E \text{ (Between)}}$$
여기서 $w_b$는 빈의 비중, $v_b$는 빈 내부의 분산, $g_b$는 빈의 평균입니다.

동작의 도달 범위

본 논문은 한 동작이 $L$의 평균을 변화시킬 수 있는 최대 이동량이 $\sqrt{\chi^2} \times \text{Budget}$에 의해 제한된다는 것을 도출합니다.

• 말하기: $T$에 국한됩니다. 실제로 노브(가이던스 스케일 등)는 작은 $\chi^2$ (1에 가까운 값)를 실현하며, 그 도달 범위는 대략 $T$로 제한됩니다.
• 보여주기: $E$에 접근합니다. 데이터 분포에서 크게 벗어난 레시피를 구성함으로써 훨씬 큰 $\chi^2$ (흔히 $\sim 100$)를 실현할 수 있으며, 이를 통해 어떤 노브보다도 훨씬 멀리 평균을 이동시킬 수 있습니다.

실증적 검증

저자들은 두 가지 독립적인 도메인에서 이 주장을 테스트합니다:

1. 이미지: ImageNet으로 학습된 디퓨전 트랜스포머(DiT). 빈은 ImageNet 클래스이며, 타겟은 밝기, 미적 점수, CLIP 콘텐츠 점수 등입니다.
2. 결정(Crystals): 재료 데이터베이스(Alexandria)로 학습된 생성기. 빈은 화학 조성이며, 타겟은 밴드 갭, 안정성, 밀도 등입니다.

저자들은 모델을 학습시키기 전, 학습 데이터에 대한 "저렴한 감사(cheap audit)"를 수행하여 $T$와 $E$를 계산하고, 실제 모델이 이 예산을 준수하는지 확인합니다.

주요 기여

1. 예산의 구분: 속성의 조향 가능성을 "말하기"(빈 내부)와 "보여주기"(빈 사이)로 나누는 정밀하고 정량적인 설명을 제공합니다. 이 분할은 모델 학습 전, 학습 데이터만으로도 계산 가능합니다.
2. AND/OR 관찰: "말하기"는 연언적(교집합/축소)인 반면 "보여주기"는 선언적(합집합/다양성)이라는 점을 공식화했습니다. 이는 왜 보여주기가 이름 붙일 수 없는 속성이나 상충하는 속성을 결합하는 목표에 도달할 수 있는지 설명합니다.
3. 실패 모드에 대한 통합적 관점: 네 가지 익숙한 생성 모델링 문제인 모드 붕괴(mode collapse), 얼라이먼트 택스(alignment tax), 보상 해킹(reward hacking), 그리고 **구성적 일반화의 실패(failure of compositional generalization)**를 하나의 구조적 불일치로 재정의합니다: 즉, "보여주기" 문제(컬렉션 수준의 확산이 필요함)를 "말하기" 방식(개별 출력 최적화)으로 해결하려는 시도로 봅니다.
4. 예측 프레임워크: 특정 타겟이 노브에 의해 도달 가능한지, 아니면 예시가 필요한지를 사전에 예측할 수 있는 능력을 제공합니다. 만약 빈 사이의 비중($E/(E+T)$)이 높다면 예시가 필요하며, 낮다면 노브로 충분합니다.
5. 조향 레시피: 타겟을 맞추기 위한 최적의 "레시피"(빈의 혼합 방식)를 구성하는 실용적인 방법을 제시합니다. 평균적인 목표를 위해서는 단일 최적 빈에 집중하고, 확산/커버리지 목표를 위해서는 여러 빈을 섞어 파레토 프런트(Pareto front)를 커버하도록 합니다.

결과

1. 분할은 정확하며 전이된다

• 정확성: $T$와 $E$로의 분산 분해는 두 도메인 모두에서 정확하게 성립했습니다.
• 전이성: 모델이 충실히 재현하는 속성(예: 결정 밀도, 이미지 밝기)의 경우, 학습 데이터에서 계산된 예산이 모델의 행동을 정확하게 예측했습니다. 모델이 재현에 어려움을 겪는 속성(예: 결정 안정성)의 경우, 데이터 측면의 감사가 예측 도구로서 부적절했으며, 모델 출력에 대한 직접적인 감사가 필요했습니다.

2. 예시가 노브보다 우월하다 (예산이 요구할 때)

• 규모: 빈 사이의 비중이 높은 결정 도메인(예: 밴드 갭의 경우 0.98)에서, 화학 조성을 선택하는 방식(보여주기)은 가장 강력한 빈 내부 노브보다 타겟을 6.8배 더 멀리 이동시켰습니다.
• 노브의 한계: 가장 강력한 노브(예: "best-of-12" 샘플링 또는 학습된 소프트 프롬프트)를 사용하더라도, 보여주기가 가진 도달 범위에 미치지 못했습니다.
• 예외: 빈 사이의 비중이 낮은 타겟(예: 이미지 밝기, $E/(E+T) \approx 0.17$)에서는 강력한 학습된 노브가 단순한 빈 혼합보다 더 나은 성능을 보였으며, 이는 타겟의 분산이 주로 빈 내부에 존재할 때 노브가 충분하다는 예산의 예측을 확인시켜 줍니다.

3. 표현력과 커버리지

• 연언적 목표: 두 가지 상충하는 속성을 모두 포함하는 배치(예: "깨끗한 차량" AND "깨끗한 음식")를 요청했을 때, "말하기"(프롬프팅)나 조건의 결합은 "모호한 중간 지점(chimeras)"을 만들어냈습니다. 오직 보여주기(차량 빈과 음식 빈을 섞는 것)만이 두 가지 모두의 진정한 인스턴스를 만들어냈습니다.
• 암묵적 조향: 전문가가 이름 붙일 수는 없지만 보여줄 수 있는 "취향"(예: 특정 미적 스타일)을 향해, 적절한 빈을 구별할 수 있는 저렴한 키(클래스 레이블)가 있다면 예시를 통해 빈의 혼합을 추론함으로써 성공적으로 조향할 수 있음을 입증했습니다.

4. 학습 효과

표준적인 미세 조정(필터링, RLHF)이 예산을 예측 가능한 방식으로 재형성한다는 것을 보여줍니다. 그러나 미세 조정이 너무 공격적이어서 모델이 학습 분포를 완전히 벗어나게 되면, 데이터 측면의 예산은 더 이상 적용되지 않으며 모델을 직접 감사해야 합니다.

의의 및 주장

본 논문은 "조향 예산"이 생성 조향에 대한 근본적이고 모델 불가지론적인(model-agnostic) 이해를 제공한다고 주장합니다:

• 예측 가능성: 실무자는 학습 데이터의 예산을 측정함으로써, 프롬프팅에서 예시 기반 조향으로 전환해야 할 시점을 사전에 알 수 있습니다.
• 구조적 설명: 왜 개별 출력 최적화(RLHF 및 미세 조정의 표준 방식)가 필연적으로 다양성의 상실(모드 붕ola)을 초래하는지 설명합니다. 이는 모델이 컬렉션 수준의 다양성의 유일한 원천인 빈 사이의 확산($E$)을 붕괴시키기 때문입니다.
• 표현력: "보여주기"가 암묵적이거나 선언적인 타겟을 향해 조향할 수 있는 유일한 메커니즘임을 검증합니다. 이러한 타겟들은 "말하기"가 접근할 수 없는 빈 사이의 예산에 존재하기 때문입니다.

저자들은 이것이 새로운 생성 기술이 아니라, 데이터의 통계적 특성으로부터 직접 유도된, 기존 기술(프롬프트 vs 예시)의 한계와 역량에 대한 정량적 설명임을 강조합니다.