기술 요약: 파운데이션 모델을 위한 구성적 패러다임 (A Compositional Paradigm for Foundation Models)

문제 정의

파운데이션 모델(Foundation Models, FMs)은 수십억 개의 파라미터와 방대한 데이터셋을 활용하여 언어, 시각, 로봇 제어 분야에서 전례 없는 성과를 달ável 해왔으나, 동적인 실제 환경에서는 심각한 한계에 직면해 있습니다. 현재의 접근 방식은 모델 크기와 학습 데이터를 키우는 데 크게 의존하고 있으며, 이러한 전략은 성능 향상 측면에서 수익 체감의 법칙(diminishing returns)에 도달하고 있는 동시에 과도한 계산 비용과 에너지 비용을 발생시키고 있습니다.

구체적으로, FMs는 다음과 같은 문제로 어려움을 겪습니다:

1. 데이터 분포의 변화에 적응하는 문제: 전체 모델을 처음부터 다시 학습시키지 않고는 변화하는 데이터 분포에 적응하기 어렵습니다.
2. 시간에 따른 작업 일반화 문제: 이들의 성능은 심층적인 추론보다는 통계적 상관관계에 의존하는 경우가 많습니다.
3. 복잡한 다중 기술 로봇 작업 처리의 비효율성: 단일 구조(monolithic architecture)는 막대한 계산 예산을 필요로 하며, 적응 과정에서 치명적 망각(catastrophic forgetting)이나 안전성 불일치(safety misalignment) 문제를 겪을 수 있습니다.

방법론

저자들은 단일 구조적 스케일링(monolithic scaling)에서 **지속 학습(Continual Learning, CL)**과 **구성성(Compositionality)**에 기반한 **구성적 패러다임(Compositional Paradigm)**으로의 패러다임 전환을 제안합니다. 핵심 가설은 복잡한 문제를 특화된 구성 요소로 나누는 것이 더 유연하고 효율적이며 적응 가능한 AI 시스템을 가능하게 한다는 것입니다.

방법론은 두 가지 주요 실험적 접근 방식을 포함합니다:

1. 이미지 분류를 위한 계층적 어댑터 구성 (Hierarchical Adapter Composition for Image Classification):

   • 메커니즘: 저자들은 여러 개의 저차원 적응(Low-Rank Adaptation, LoRA) 어댑터의 구성을 통해 Vision Transformer(ViT) 모델을 일련의 태스크 스트림에 적응시킵니다.
   • 과정: 각 새로운 태스크(경험)에 대해 별도의 LoRA 모듈을 학습시킵니다. 이후 이 모듈들을 **계층적 병합 과정(hierarchical merging process)**을 통해 결합합니다:
     • 먼저, 유사성에 따라 LoRA들을 그룹화하고 결합합니다.
     • 그 다음, 이 그룹화된 어댑터들을 하나의 통합된 모듈로 병합합니다.
   • 목표: 병합 과정 중 발생하는 간섭을 최소화하면서, 이전에 접했던 모든 태스크를 해결할 수 있는 통합 모델을 만드는 것입니다.

2. 로봇 조작을 위한 구성적 아키텍처 (Compositional Architecture for Robotic Manipulation):

   • 메커니즘: 사전 학습된 구성 요소들을 동적으로 스케일링하기 위해 작은 어댑터와 어텐션 메커니즘을 사용하는 경량 아키텍처를 활용합니다.
   • 과정: 거대한 백본(OpenVLA에서 사용되는 7B-Llama와 같은)을 미세 조정하는 대신, 소형의 기성(off-the-shelf) 사전 학습 모델과 작은 어댑터들을 결합하여 시스템을 운용합니다. 이를 통해 에이전트는 광범위한 재학습 없이도 다양한 맥락에 적응하고 역량을 동적으로 확장할 수 있습니다.
   • 목표: 엄격한 계산 제약 조건 하에서 로봇 에이전트가 저수준 기술과 추상적 정책을 효율적으로 학습할 수 있도록 하는 것입니다.

주요 기여

• 패러다임 제안: 본 논문은 "구성성(Compositionality)"(분할 정복)이 차세대 AI의 핵심 동력이라고 주장합니다. 이는 특화된 모델들이 공존하고, 지식을 공유하며, 단일한 단일 구조 모델보다 더 효과적으로 복잡한 작업을 공동으로 해결할 수 있게 합니다.
• 효율적인 적응 프레임워크: 저자들은 모델을 구성하는 방식이 제한된 자원으로도 강력한 성능을 낼 수 있음을 입증하며, 이를 통해 막대한 파라미터 업데이트나 전체 모델 재학습의 필요성을 피할 수 있음을 보여줍니다.
• 계층적 병합 전략: 지식의 축적을 가능하게 하고 태스크 스트림 동안 발생하는 간섭을 줄이는 특정 LoRA 어댑터 병합 기술을 제시합니다.
• 경량 로봇 제어: 계산 예산이 제한된 상황에서 작은 어댑터가 로봇 조작 분야에서 더 크고 복잡한 Vision-Language-Action (VLA) 모델보다 뛰어난 성능을 보일 수 있음을 입증합니다.

실험 결과

저자들은 두 가지 영역에서 예비 결과를 제시합니다:

1. 이미지 분류 (CUB200 데이터셋, 50개 태스크):

• 성능: 제안된 방법(HAM)은 55.17% ± 1.04의 정확도를 달성하여, 경쟁 모델인 SD-LoRA(47.56%)와 InfLoRA(36.02%)를 크게 앞질렀습니다.
• 효율성: HAM의 학습 시간은 170.61초로, SD-LoRA(318.22초) 및 InfLoRA(196.89초)보다 빨랐습니다.

2. 로봇 조작:

• 성능: 제안된 방법(WSA)은 보상/스텝(Reward/Step) 0.60과 성공률 0.91을 달성했습니다. 반면, InstructRL 및 OpenVLA와 같은 복잡한 베이스라인 모델들은 동일한 제약 조건 하에서 0.0의 성공률을 기록했습니다.
• 효율성: WSA는 40시간이 소요된 InstructRL이나 92시간이 소요된 OpenVLA와 비교하여 단 14시간의 학습 시간만을 필요로 했습니다.
• 관찰 결과: 결과는 복잡한 모델인 OpenVLA가 제한된 계산 제약 하에서 실패하는 반면, 경량화된 구성적 접근 방식은 높은 효율성과 성공률로 조작 작업을 해결할 수 있음을 나타냅니다.

의의 및 주장

본 논문은 파운데이션 모델이 진정한 "에이전틱 AI(agentic AI)"에 도달하기 위해서는 정적인 단일 구조적 스케일링을 넘어서야 한다고 주장합니다. 이 연구의 의의는 다음과 같은 점을 입증하는 데 있습니다:

• 유연성 및 적응성: 구성적 시스템은 모델을 재학습하는 대신 모델의 오케스트레이션(orchestration)을 변경함으로써, 변화하는 시나리오와 진화하는 분포에 정적인 솔루션보다 더 효과적으로 적응할 수 있습니다.
• 자원 효율성: 구성성을 통해 사전 학습된 파운데이션 모델의 잠재력을 최대한 활용함으로써, "학습 단계가 거의 없거나 매우 적은" 상태에서도 로봇 공학 및 분류 분야에서 높은 성능을 달고 낮은 계산 예산으로 달성할 수 있습니다.
• 안전성 및 추론: 저수준 기술 학습과 고수준 추론을 분리함으로써, 에이전트는 사물 및 인간과의 상호작용을 더 잘 이해하고, 지속적으로 능력을 진화시키며, 치명적 망각이나 안전성 불일치 없이 급격한 세계 변화에 적응할 수 있습니다.

저자들은 결론적으로, 차세대 AI로 나아가기 위해서는 단일 모델보다 복잡한 작업을 더 효과적으로 해결하기 위해 구성성을 활용하는, 유연하고 적응 가능하며 계산 효율적인 시스템으로의 전환이 필요하다고 강조합니다.