기술적 요약: 새로운 작업으로의 외삽 학습: 작업 외삽을 위한 관계적 접근법

1. 문제 제기

대규모 기반 모델을 포함한 현대 학습 시스템은 훈련 분포의 지지 (support) 내에서의 보간 (interpolation) 에는 탁월하지만, 이 지지 범위를 벗어난 작업 (지지 밖 또는 OOS) 으로 일반화하는 데는 어려움을 겪습니다. 이러한 실패는 훈련 범위를 벗어난 매개변수를 가진 함수 예측, 구성적 깊이의 증가, 또는 알려진 원시 요소들을 훈련에서 보지 못한 방식으로 재조합하는 것과 같은 구조화된 설정에서도 지속됩니다. 현재 모델들은 종종 도메인의 생성 메커니즘을 내면화하기보다는 훈련 분포와 연관된 휴리스틱에 의존하여 경험의 경계에서 포화 상태에 이릅니다.

본 논문은 작업 외삽 (task extrapolation) 을 훈련 지지 범위를 벗어난 작업 정의 구조 자체가 존재하는 목표 작업으로의 일반화로 정의합니다. 훈련 입력의 합집합이나 확장이 테스트 입력인 표준 분포 밖 (out-of-distribution) 또는 길이 일반화와는 달리, 작업 외삽은 작업 구조 자체의 변환에 대한 추론을 요구합니다. 저자들은 임의의 보지 못한 작업으로 외삽하는 것은 잘 정의되지 않은 문제 (ill-posed) 이지만, 많은 실제 세계 작업은 공유된 미지의 구조를 통해 체계적으로 연관되어 있다고 주장합니다.

2. 방법론: 관계적 작업 외삽기 (RTE)

핵심 제안은 외삽을 전도적 (transductive) 문제로 재구성하는 관계적 작업 외삽기 (Relational Task Extrapolator, RTE) 입니다. 핵심 관찰은 외삽이 본질적으로 관계적이라는 점이며, 성공은 작업들이 서로 어떻게 변환되는지를 학습하는지에 달려 있다는 것입니다.

2.1. 핵심 메커니즘

RTE 는 보지 못한 목표 작업 $f_{\theta^*}$를 훈련 중에 관찰된 두 구성 요소로 분해합니다:

1. 앵커 작업 ($f_{anc}$): 훈련 분포 내의 친숙한 작업.
2. 변환 ($\phi$): 앵커와 목표를 연결하는 상대적 기술자 (예: 매개변수 이동, 재귀적 확장 단계, 또는 조합 연산자).

작업 매개변수에서 출력으로의 직접적인 매핑을 학습하는 대신, RTE 는 앵커 - 변환 쌍을 목표 작업에 대한 예측으로 매핑하는 관계 연산자 (relational operator) $\Psi$를 학습합니다:
$$\hat{y} = \Psi(x, f_{anc}, \phi)$$
이것은 어려운 지지 밖 (OOS) 외삽 문제를 더 처리 가능한 조합 밖 (out-of-combination, OOC) 문제로 축소합니다. 앵커와 변환은 각각 훈련 데이터에서 개별적으로 관찰되지만, 그들의 특정 조합은 새로운 것일 수 있습니다.

2.2. 세 가지 외삽 영역

저자들은 RTE 를 세 가지 표준 영역에서 구체화합니다:

• 매개변수 외삽 (연속): 작업은 연속 매개변수로 인덱싱됩니다. 변환은 매개변수 공간에서의 이동 ($\phi = \Delta\theta$) 입니다. 연산자는 매개변수 이동 하에서 함수 곡선이 어떻게 변형되는지를 학습합니다.
• 길이 외삽 (재귀적): 작업은 계층적 복잡성 (예: 다항식 차수) 으로 조직됩니다. 변환은 복잡도 $L-1$의 작업을 $L$로 확장하는 귀납적 단계 (예: 새로운 항 추가) 입니다.
• 조합적 외삽 (조합적): 작업은 원시 요소들을 결합하여 형성됩니다 (예: $f \circ g$). 한 구성 요소는 앵커로, 다른 하나는 변환 인자로 작용합니다.

2.3. 추론 및 탐색

실용적인 과제는 작업 기술자가 잠재적 (latent) 일 때 앵커와 변환을 선택하는 것입니다. RTE 는 프록시 기하학 (proxy geometry) (피셔 정보 행렬에서 유도된 Task2Vec 임베딩 사용) 과 2 단계 프로세스를 통해 이를 해결합니다:

1. 훈련: 모델은 변환 $\phi_{ij}$가 알려져 있거나 추론된 훈련 작업 쌍 $(f_i, f_j)$에 대한 예측 오차를 최소화함으로써 $\Psi$를 학습합니다.
2. 추론:
   • 연속 영역: 기하학적 단축을 사용합니다. 목표 컨텍스트가 임베딩되고, 훈련 라이브러리에서 가장 가까운 이웃이 앵커로 선택됩니다. 변환은 프록시 공간에서의 벡터 차이로 추론됩니다.
   • 이산 영역 (길이/조합): 상각된 탐색 (amortized search) 을 사용합니다. 분해 네트워크가 후보 앵커 - 변환 쌍을 제안한 후, 희소한 목표 컨텍스트에서의 가능성이나 재구성 오차를 평가하여 다시 순위 매깁니다.

2.4. 시퀀스 모델 (LLM) 로의 확장

RTE 는 작업 외삽을 지도 미세 조정 (SFT) 문제로 프레임함으로써 대규모 언어 모델 (LLM) 로 확장됩니다. 관계 연산자는 미세 조정된 지시 따르기 모델로 구체화됩니다. 테스트 시, 모델은 앵커 작업 (시연), 변환 설명 (예: "비트 인덱스 3 이동"), 그리고 쿼리를 포함하는 프롬프트를 받습니다. 모델은 앵커에 변환 논리를 적용하여 목표를 해결하도록 학습합니다. 추론은 후보 분해에 대한 이산 탐색을 포함하며, 모델이 목표 컨텍스트에서 나타내는 가능성을 기반으로 점수를 매깁니다.

3. 주요 기여

• 관계적 작업 외삽 (RTE): 작업 간 관계를 활용하여 OOS 외삽을 OOC 문제로 축소하는 알고리즘적 프레임워크.
• 외삽 영역: 매개변수, 길이, 그리고 조합적 외삽 설정 전반에 걸친 RTE 의 공식적 구체화.
• 훈련 및 추론 프로토콜: 프록시 기하학을 위한 Task2Vec 임베딩을 사용한 프로토콜 개발 및 외삽을 최적화 문제로 공식화. LLM 의 경우, 외부 신호 없이 탐색 및 검증을 위한 프록시 보상으로서 희소한 컨텍스트에서의 가능성을 활용.
• 실증적 검증: 합성 함수 예측 작업 및 LLM 벤치마크 (Sparse Parity, CodeIO) 에 대한 포괄적 평가.

4. 실험 결과

저자들은 RTE 를 표준 귀납적 베이스라인 및 지상 진실 분해에 접근할 수 있는 오라클 변형과 비교하여 평가합니다.

• 합성 함수 예측:

  • 매개변수 외삽: 귀납적 모델은 경계 포화로 인해 범위 밖 매개변수에서 치명적으로 실패합니다 (MSE $\approx 10^5$). RTE 는 오차를 현저히 줄여 (MSE $\approx 10^2$) 오라클 성능과의 격차를 해소합니다.
  • 길이 외삽: RTE 는 고차 다항식 예측에서 단순 베이스라인을 크게 능가합니다 (MSE 0.37 대 0.58), 하지만 부정확한 앵커 검색으로 인해 오라클 대비 격차는 여전히 존재합니다.
  • 조합적 외삽: RTE 는 보지 못한 함수 조합에서 베이스라인 (0.39) 보다 낮은 집계 MSE(0.29) 를 달성하여 근본적인 원시 요소들을 성공적으로 추론합니다.

• LLM 실험:

  • 희소 패리티 (길이): RTE 는 훈련 중 보지 못한 부분 집합 크기에서 정확도를 52.86%(베이스라인) 에서 66.07% 로 향상시켜 재귀적 구조를 복원합니다.
  • CodeIO(조합): RTE 는 Few-Shot(19.8%) 및 체인 오브 씽킹 (Chain-of-Thought) 베이스라인 (30.2%) 에 비해 정확도를 거의 두 배 (45.3%) 로 높여, 모델을 유효한 알고리즘 단계로 효과적으로 제한합니다.

5. 중요성 및 한계

본 논문은 RTE 가 작업 공간의 관계적 구조를 활용함으로써 일반화에 대한 원칙적인 접근법을 제공한다고 주장합니다. 모델이 새로운 작업을 알려진 구성 요소와 변환으로 분해하는 법을 배운다면 훈련 지지 범위를 넘어 외삽할 수 있음을 보여줍니다.

한계 및 향후 방향:

• 추론 비용: RTE 는 단일 패시 귀납적 모델과 달리 최적 분해를 식별하기 위해 테스트 시간 계산을 필요로 합니다.
• 다양체 밀도 (Reachability): RTE 는 목표 작업이 훈련 분포에 존재하는 변환을 통해 도달 가능하다고 가정합니다. 완전히 이질적인 메커니즘은 여전히 도달 불가능합니다.
• 식별 가능성: 이산 영역에서 현재 접근법은 훈련 중 지상 진실 관계 메타데이터에 의존합니다. 저자들은 이를 완화하기 위해 기대값 - 최대화 (Expectation-Maximization) 를 통한 자기 라벨링을 제안하지만, 처음부터 잠재적 관계 구조를 추론하는 것은 여전히 열린 과제입니다.
• 다단계 외삽: 초기 결과가 반복적 이동에서의 성공을 보여주지만, 오류가 누적되지 않고 여러 변환을 연결하는 것은 추가 조사가 필요합니다.

저자들은 RTE 가 보편적인 블랙박스 솔루션이 아니라, 근본적인 관계적 구조를 가진 도메인을 위해 특별히 설계되었으며, 모델이 표면적 휴리스틱에 의존하기보다는 생성 메커니즘을 내면화하고 재사용할 수 있는 경로를 제공한다고 강조합니다.