논리 요약: End-to-End 자율주행 시스템을 위한 확장성 인식 데이터 선택 (Scaling-Aware Data Selection)

이 논문은 물리적 인공지능 (Physical AI), 특히 End-to-End (E2E) 자율주행 시스템의 학습 효율성을 극대화하기 위한 새로운 데이터 선택 프레임워크인 **MOSAIC (Mixture Optimization via Scaling-Aware Iterative Collection)**을 제안합니다.

1. 문제 정의 (Problem)

자율주행과 같은 물리적 AI 시스템은 방대한 양의 다양한 데이터 (날씨, 지형, 교통 상황 등) 에 의존합니다. 그러나 모든 데이터를 학습하는 것은 계산적으로 비효율적이며, 실제로는 제한된 데이터 예산 (Budget) 내에서 모델 성능을 최적화해야 합니다. 기존 데이터 선택 방법들의 주요 한계점은 다음과 같습니다.

• 경쟁하는 지표 (Competing Metrics): 자율주행 모델은 차선 유지, 충돌 회피, 규칙 준수 등 여러 상충될 수 있는 지표를 동시에 만족해야 합니다.
• 이질적인 데이터 영향력: 서로 다른 데이터 샘플 (예: 혼잡한 도시 도로 vs. 한적한 교외 도로) 이 각기 다른 평가 지표에 서로 다른 속도로 영향을 미칩니다.
• 명확하지 않은 도메인: 기존 방법들은 데이터가 명확하고 균일한 도메인으로 나뉘어 있다고 가정하지만, 실제 데이터는 이질적이며 지표에 따른 영향력이 일정하지 않습니다.

2. 방법론: MOSAIC 프레임워크

저자들은 MOSAIC을 통해 데이터 혼합 (Mixture) 을 최적화하는 3 단계 프로세스를 제안합니다.

1 단계: 클러스터링 및 순위 매기기 (Clustering & Ranking)

• 클러스터링: 데이터 풀 (Data Pool) 을 서로 다른 주행 맥락 (예: 도시, 교외, 고속도로 등) 을 반영하는 이산적인 도메인 (클러스터) 으로 분할합니다.
• 순위 매기기: 각 클러스터 내의 샘플들을 중요도 점수 (Importance Score) 에 따라 정렬합니다. 이는 해당 샘플이 모델의 전체 유틸리티 함수 (Utility Function) 에 얼마나 기여하는지 평가하여, 영향력이 큰 샘플을 먼저 학습시킬 수 있도록 합니다.

2 단계: 확장 법칙 추정 (Scaling Law Estimation)

• 각 클러스터에서 데이터를 추가할 때 모델 성능이 어떻게 향상되는지 **확장 법칙 (Scaling Law)**을 추정합니다.
• 소규모 파일럿 실행 (Pilot Runs) 을 통해 각 클러스터별 성능 향상 곡선 (예: 포화 지수 함수) 을 피팅합니다. 이를 통해 특정 클러스터에서 데이터를 더 추가했을 때의 한계 수익 (Marginal Gain) 을 예측합니다.

3 단계: 확장성 인식 반복적 수집 (Scaling-Aware Iterative Collection)

• 반복적 최적화: 주어진 데이터 예산 내에서, 현재 시점에서 **가장 큰 한계 이익 (Marginal Gain)**을 제공할 것으로 예상되는 클러스터에서 데이터를 하나씩 선택하여 학습 세트에 추가합니다.
• 이 과정은 각 클러스터의 확장 곡선을 기반으로 동적으로 데이터 혼합 비율을 조정하며, 특정 클러스터의 수익이 감소하면 다른 클러스터로 전환하는 전략을 취합니다.

3. 주요 기여 (Key Contributions)

1. MOSAIC 프레임워크 제안: 클러스터링, 순위 매기기, 확장 법칙 모델링을 결합하여 다중 경쟁 지표를 가진 모델의 성능을 극대화하는 범용 데이터 혼합 최적화 파이프라인을 제시했습니다.
2. 자율주행 적용 및 검증: NAVSIM 및 OpenScene 벤치마크에서 2024 년 챌린지 우승 모델인 Hydra-MDP 를 사용하여 실험했습니다. MOSAIC 은 기존 데이터 선택 및 혼합 베이스라인 (Random, Uncertainty, Coreset, Chameleon 등) 보다 월등히 높은 성능을 달성했습니다.
3. 데이터 효율성 극대화: 동일한 성능을 달성하는 데 기존 방법보다 최대 82% 적은 데이터가 필요했으며, 전체 학습 성능에 도달하는 데 42% 적은 데이터만으로도 충분함을 입증했습니다.
4. 구성 요소의 타당성 입증: 클러스터링 방식 (지리적 위치 또는 캡션 기반) 에 관계없이 MOSAIC 이 우월함을 보였으며, 확장 법칙을 적용하지 않은 경우보다 성능이 크게 향상됨을 통해 제안된 전략의 핵심적 중요성을 증명했습니다.

4. 실험 결과 (Results)

• 평가 지표: 확장 예측 주행 모델 점수 (EPDMS) 를 사용했습니다. 이는 9 가지 규칙 준수 지표 (차선 유지, 충돌 회피, 신호 준수 등) 를 종합한 지표입니다.
• 성능 비교:
  • OpenScene 데이터셋: MOSAIC 은 모든 데이터 예산 구간에서 가장 높은 EPDMS 를 기록했습니다. 특히 Random 선택보다 80% 이상 적은 데이터로 동등한 성능을 달성했습니다 (BRMR < 0.2).
  • Navtrain 데이터셋: 복잡한 주행 시나리오가 포함된 이 데이터셋에서도 MOSAIC 은 다른 방법들보다 EPDMS 가 최대 1.1 포인트 높았으며, 데이터 효율성 (BRMR < 0.4) 에서도 압도적이었습니다.
• 세부 지표 분석: MOSAIC 은 단순히 특정 지표만 향상시키는 것이 아니라, DAC (동적 장애물 회피) 와 같은 개선 여지가 큰 지표에 집중하면서도 다른 지표들 간의 균형을 잘 유지했습니다.
• 컴퓨팅 비용: 초기 파일럿 실행을 위한 오버헤드가 있지만, 대규모 데이터 예산 regime 에서는 이를 상쇄하고 전체 GPU 시간을 절약하여 (최대 57% 절감) 최종적으로 더 효율적인 학습을 가능하게 했습니다.

5. 의의 및 결론 (Significance)

이 논문은 대규모 물리적 AI 시스템에서 데이터의 양보다 질과 혼합 비율의 중요성을 강조합니다. MOSAIC 은 단순히 데이터를 필터링하는 것을 넘어, 데이터가 모델 성능에 미치는 영향을 정량화하고 (확장 법칙), 이를 기반으로 동적으로 학습 데이터를 선택하는 원칙적인 (Principled) 접근법을 제시합니다. 이는 제한된 데이터 예산 하에서 자율주행과 같은 복잡한 물리적 AI 시스템의 성능을 최적화하기 위한 새로운 표준이 될 수 있으며, 향후 대규모 모델 학습을 위한 데이터 전략 수립에 중요한 통찰을 제공합니다.