기술 요약: 테스트 시점 커버리지 (TTCov)

문제 정의

자율 주행(AD)과 같은 물리적 안전이 중요한 도메인에 배치된 AI 시스템은 일반적으로 광범위한 후보 데이터 풀을 기반으로 학습됩니다. 표준적인 데이터 큐레이션 방식은 모델의 배포 대상 분포(deployment test distribution)를 직접 최적화하기보다는 학습 측면의 기준(예: 다양성, 불확실성, 중복성)에 따라 학습 서브셋을 선택합니다. 이는 큐레이션된 학습 데이터가 실제 세계에서 마주하게 될 특정 조건들을 반영하지 못하는 미스매치를 초-래할 수 있습니다.

전이 학습(transductive learning) 및 테스트 시점 적응(test-time adaptation, TTA) 기술들이 추론 중에 라벨이 없는 테스트 데이터를 사용하여 모델 가중치를 업데이트함으로써 이 간극을 메우려 시도하지만, 이러한 접근 방식은 상당한 추론 지연을 초래하며 실시간 안전 필수 시나리오에서 모델 검증을 복잡하게 만듭니다. 또한, 샘플별로 모델 튜닝이 필요하기 때문에 배포 규모가 커짐에 따라 확장성이 떨어집니다. 본 논문은 추론 시점에 모델 가중치를 수정하지 않고도, 학습 시작 전에 테스트 측 정보를 활용하여 학습 분포를 조정하는 방법론의 필요성을 제기합니다.

방법론: TTCov

저자들은 데이터 수준의 테스트 조건부 큐레이션 프레임워크인 **TTCov (Test-Time Coverage)**를 소개합니다. TTCov는 모델 가중치를 업데이트하는 대신, 문제를 커버리지(어떤 배포 관련 콘텐츠를 포함할 것인가)와 분포(해당 콘텐츠가 얼마나 자주 나타나야 하는가)라는 두 가지 구성 요소로 분해하여 배포 분포와 일치하는 학습 데이터셋을 큐레이션합니다.

1. 아틀라스 (커버리지 표현)

커버리지를 표현하기 위해, TTCov는 배포 관련 개념(시나리오, 에이전트, 조건, 행동)을 설명하는 **원자 명제(Atomic Propositions, APs)**의 집합인 해석 가능한 **태스크 아틀라스(Task Atlas)**를 구축합니다.

• 시딩(Seeding): 아틀라스는 구조화된 운전 조건 온톨로지를 형성하기 위해 LLM(대규모 언로 모델)에 의해 생성된 오픈 월드 태스크 지식으로 초기 시딩됩니다.
• 확장(Expansion): 아틀라스는 라벨이 없는 배포 측 데이터(예: 주행 로그)를 사용하여 확장됩니다. MLLM(멀티모달 LLM)은 테스트 비디오에서 조밀한 캡션을 추출하고, 이는 다시 AP로 변환됩니다.
• 통합(Unification): 세 단계의 과정을 통해 이러한 AP를 정제합니다:
  1. 증류(Distillation): 복잡한 설명을 단일 절의 선언적 문장으로 변 conversion합니다.
  2. 명제 변환(Proposition Conversion): 문장을 주어-동사-목적어(SVO) 또는 주어-속성의 원자 단위로 변환합니다.
  3. 노이즈 필터링(Nuisance Filtering): 일반화 가능한 개념(예: "빨간 셔츠를 입은 보행자가 브로드웨이를 건너다"가 아닌 "보행자가 횡단보도를 건너다")을 포착할 수 있도록 비필수적인 수식어(색상, 특정 크기, 브랜드 이름, 특정 거리 이름 등)를 제거합니다.
  4. 중복 제거(Deduplication): 일관된 어휘를 보장하기 위해 LLM 검증을 사용하여 의미론적으로 유사한 구절을 클러스터링하고 통합합니다.

2. K-아틀라스 (분포 표현)

분포를 표현하기 위해, TTCov는 매칭된 배포 AP에 그 빈도를 할당하여 **지식 아틀라스(Knowledge Atlas, K-Atlas)**를 인스턴스화합니다.

• K-아틀라스는 타겟 분포 벡터 $p^\star$이며, 각 요소는 배포 테스트 세트에서 특정 AP의 중요 빈도를 나타냅니다.
• 이를 통해 배포 분포를 구체적인 큐레이션 타겟으로 운영화합니다.

3. 탐욕적 선택 최적화 (Greedy Selection Optimization)

목표는 후보 풀 $C$로부터 예산이 정해진 학습 서브셋 $S$ (크기 $B$)를 선택하여, 서브셋의 AP 분포 $\hat{p}_S$가 타겟 K-아틀라스 $p^\star$와의 쿨백-라이블러(Kullback-Leibler, KL) 발산을 최소화하도록 하는 것입니다:
$$S^\star := \arg \min_{S \subset C, |S|=B} D_{KL}(p^\star \parallel \hat{p}_S)$$
이는 조합 최적화 문제이므로, TTCov는 탐욕적 반복 알고리즘(Algorithm 1)을 채택합니다. 각 단계에서, 누적된 서브셋과 타겟 분포 사이의 현재 KL 격차를 최대화하여 줄이는 샘플을 남은 후보 풀에서 선택합니다.

주요 기여

1. TTCov 프레임워크: 온라인 모델 적응의 지연 시간과 복잡성을 피하면서, 학습 전의 라벨 없는 배포 분포에 학습 데이터셋을 적응시키는 데이터 수준의 테스트 조건부 큐레이션 방법론을 제시합니다.
2. Atlas 및 K-Atlas: 배포 조건부 큐레이션을 위해 특별히 설계된 해석 가능한 커버리지 표현(Atlas)과 빈도 가중 타겟 분포(K-Atlas)를 도입했습니다.
3. 최적화 공식화: 데이터 큐레이팅을 예산이 정해진 K-Atlas 매칭 문제로 공식화하고, 이를 후보 샘플에 대한 탐욕적 선택 절차를 통해 해결합니다.
4. 단조적 아틀라스 진화(Monotonic Atlas Evolution): 이전 데이터를 유지하면서 새로운 도메인에 대해 K-아틀라스를 업데이트함으로써, 변화하는 배포 조건(예: 도시 간 확장)에 적응할 수 있는 메커즘을 제공하여 파괴적 망각을 방지합니다.
5. 경험적 검증: 커버리지 메트릭, 분포 매칭, 그리고 다운스트림 엔드 투 엔드(E2E) 자율 주행 성능에 대해 최신 베이스라인들과 비교하여 종합적인 평가를 수행했습니다.

실험 결과

저자들은 Latent Transfuser (LTF) 플래너를 사용하여 Navhard 벤치마크(NAVSIM 프레임워크의 도전적인 서브셋)에서 TTCov를 평가했습니다.

• 성능: TTCov는 다양한 데이터 예산(베이스라인의 0.5배에서 1.5배)에 걸쳐 Coreset(다양성 기반) 및 SSE(의미론적 선택)를 포함한 베이스라인들을 지속적으로 능가했습니다.
  • 1배 예산에서, TTCov는 수동으로 큐레이션된 Navtrain 오라클(24.42 vs 24.70 EPDMS)과 대등한 성능을 보였으며, 인간의 주석 없이도 이를 달려냈습니다.
  • 오라클 크기를 초과하는 예산에서, TTCov는 오라클 및 모든 다른 베이스라인을 능가했습니다(1.5배에서 26.40 EPDMS).
• 분포 매칭: TTCov는 모든 베이스라인에 비해 K-Atlas 타겟에 대한 가장 낮은 KL 발산을 달ek성하여, 선택된 학습 데이터와 테스트 분포 사이의 우수한 정렬을 입증했습니다.
• 도시 간 적응(City-to-City Adaptation): 다회차 도메인 확장 실험(도시를 순차적으로 추가)에서, TTCov는 새로운 타겟 도시와 기존 도시 모두에서 베이스라인보다 훨씬 뛰어난 성능을 보였으며, 이는 이전 도시를 위해 데이터를 다시 큐레이션하거나 파괴적 망각을 겪지 않고도 새로운 도메인에 적응할 수 있는 능력을 증명합니다.
• 커버리지: TTCov는 Coreset 및 SSE와 비교하여 테스트 분포와 임베딩이 가까운(Nearest Neighbor 거리 및 MMD로 측정) 학습 포인트의 볼륨을 현저히 더 많이 선택했습니다.

의의 및 주장

본 논문은 TTCov가 사후 대응적인 모델 패칭(reactive model patching)에서 **선제적이고 테스트 중심적인 AI 개발(proactive, test-driven AI development)**로의 전환을 나타낸다고 주장합니다. 원자 명제의 Atlas를 활용함으로써 TTCov는 다음을 가능하게 합니다:

• 안전 인식 큐레이션(Safety-Aware Curation): 일반적인 다양성 지표에서는 놓치기 쉬운 안전 필수 및 희귀 시나리오(예: 보행자, 스쿨버스, 특정 신호등 상호작용)를 명시적으로 타겟팅할 수 있는 능력.
• 확장성(Scalability): 샘플별 모델 적응의 계산 오버헤드 없이 진화하는 배포 조건(예: 새로운 도시)에 확장할 수 있는 능력.
• 해석 가능성(Interpretability): 원자 명제의 사용은 학습 데이터가 어떤 개념을 커버하는지에 대한 투명한 뷰를 제공하여, 모델의 잠재적 실패 모드에 대한 통찰을 제공합니다.

저자들은 TTCov가 테스트 세트의 존재와 기반이 되는 LLM의 지식 한계에 종속되어 있지만, 물리적 AI 시스템에서 학습 데이터를 실제 배포 분포와 정렬하기 위한 강력하고 확장 가능한 경로를 제공한다고 언급합니다.