Evaluation-Recording Contamination in Learned Nano-Quadrotor Dynamics: A Fresh-Seed Audit

기술 요약: 학습된 나노-쿼드로터 역학에서의 평가-기록 오염(Evaluation-Recording Contamination)

문제 정의
항공 차량을 위한 데이터 기반 역학 모델은 일반적으로 더 긴 비행 기록에서 추출된 짧은 윈도우(window)를 사용하여 학습된다. 이때 윈도우를 피팅(fitting) 세트와 평가(evaluation) 세트로 무작위 할당할 경우 심각한 방법론적 결함이 발생한다. 단일 비행 기록 내의 인접한 샘플들은 차량 상태, 제어 이력, 외란 및 센서 조건 등을 공유하기 때문에, 무작위 분할을 사용하면 동일한 물리적 비행에서 유래한 강력하게 의존적인 샘플들이 피팅 세트와 평가 세트에 동시에 배치될 수 있다. 이는 "평가 누수(evaluation leakage)"를 생성하며, 모델이 새로운 미지의 비행에 대해 진정한 일반화 능력을 입증하는 것이 아니라, 단순히 학습 과정에서 특정 물리적 궤적을 이미 보았기 때문에 일반화가 잘 된 것처럼 보이게 만든다. 이러한 문제는 특히 비행 역학에서 매우 중요한데, 낮은 1-스텝 예측 오차(one-step prediction error)가 재귀적 롤아웃(recursive rollout) 중 발생하는 상당한 드리프트나 발산을 은폐할 수 있기 때문이다.

방법론
저자들은 기록 수준의 누수 효과를 격리하기 위해 NanoBench Crazyflie 2.1 데이터셋의 고정된 스냅샷을 사용하여 "프레시 시드 감사(fresh-seed audit)"를 수행한다. 본 연구는 다음 사양을 갖춘 통제된 실험 설계를 채택한다:

• 데이터셋: NanoBench 데이터셋에서 사용 가능한 106개의 기록 중 26개를 평가용 기록으로 고정하고 나머지를 피팅에 사용한다.
• 실험 군(Experimental Arms):
  • 기록 불연속 군 (안전 - Recording-Disjoint Arm): 평가용 기록이 아닌 기록들로부터 추출된 16,000개의 피팅 윈도우를 사용한다.
  • 오염 군 (Contaminated Arm): 동일한 16,000-윈도우 용량을 사용하되, 25%(4,000개 윈도우)를 평가용 기록에서 추출된 윈도우로 대체한다. 결정적으로, 오염 풀(pool)에서 정확한 롤아웃 시작 인덱스는 제외되었으나, 오염된 윈도우의 90.5%가 여전히 평가된 시작 지점으로부터 2초 이내에 위치한다.
• 대조군 (Controls): 두 군 모두 검증 누수를 방지하기 위해 (비평가용 기록에서 추출된) 동일한 2,000-윈도우 검증 세트를 공유한다. 또한 동일한 최적화 예산, 아키텍처 및 조기 종료 규칙을 사용한다.
• 모델: 두 가지 다층 퍼셉트론(MLP)을 테스트한다:
  1. 세계 좌표 모델 (World-Coordinate Model): 입력값으로 표준화된 세계 위치, 속도, 쿼터니언, 참조값(reference) 및 배터리 전압을 포함한다.
  2. 상대 좌표 모델 (Relative-Coordinate Model): 절대 위치를 0으로, 참조값을 추적 오차(tracking error)로 대체하여 좌표 표현이 누수 효과를 완화하는지 테스트한다.
• 추론 프로토로콜: 실험은 모든 26개의 평가 기록에 대해 20개의 신선한 사전 확정 학습 시드(100–119)를 실행한다. 이는 학습의 무작위성과 비행 특유의 이질성을 모두 고려하기 위해 교차 설계(crossed design)를 생성한다 (20개 시드 × 26개 기록 = 520개 셀).
• 지표: 주요 종단점은 1초 **실패 인지 위치 RMSE(failure-aware position RMSE)**이다. 표준 RMSE와 달리, 이 지표는 오차가 2m를 초과하는 발산 사례를 제외하지 않고 유지함으로써, 어려운 사례를 배제하여 성능이 인위적으로 부풀려지는 것을 방지한다.
• 통계 분석: 이원 변량 효과 모델(two-way random-effects model)을 사용하여 기록과 시드 간의 분산을 분해한다. 주요 확인 결정 규칙은 최소 10%의 상대적 낙관성(오염 군에서 더 낮은 오차)을 보이는 점 추정치와, 차이가 0 미만에 완전히 위치하는 95% 신뢰 구간을 모두 요구한다.

주요 기여

1. 기계 감사 비교 (Machine-Audited Comparison): 피팅 단계에서의 평가 기록 접근성만을 다르게 설정하여 다른 모든 변수를 일정하게 유지한 직접 비교를 수행한다.
2. 실패 인지 지표 (Failure-Aware Metrics): 발산하는 시도를 처벌하는 점수 산출 방식을 도입하여, 성능 향상이 실패한 롤아웃의 침묵적 제거에 의해 유도되지 않도록 보장한다.
3. 교차 추론 (Crossed Inference): 물리적 기록과 학습 시드를 모두 무작위 요인으로 취급하여 유사 반복(pseudoreplication)을 피하는 엄격한 통계적 접근법을 사용한다.
4. 상호작용 테스트 (Interaction Testing): 좌표 표현(세계 vs 상대)이 누수 효과를 완화하는지 판단하기 위해, 개별 유의성 검정에 의존하는 대신 직접적인 차이의 차이(difference-in-differences) 테스트를 수행한다.
5. 재현 가능한 프로토콜: 탐색 단계(강한 양의 결과가 나타났던 단계)에서 확정적 단계(부정적 결과가 나타난 단계)로의 전환 과정을 포함하여, 투명한 기록을 제공한다.

결과
확정 실험은 사전 등록된 결정 규칙에 따라 **부정적 결과(negative result)**를 도출한다:

• 점 추정치: 오염 군은 불연속 군보다 일관되게 낮은 오차를 보인다. 1초 시점의 세계 좌표 모델의 경우, 오차는 0.299 m에서 0.262 m로 감소하여 12.1%의 감소율을 보였다. 이는 10%의 효과 크기 임계값을 초과한다.
• 통계적 유의성: (오염 군 차이인 [오염 군 - 불연속 군])에 대한 95% 교차 신뢰 구간은 [-0.0735, 0.0011] m이다. 이 구간이 0을 통과하므로, 연구의 엄격한 기준에 따르면 결과는 통계적으로 유의하지 않다.
• 이차적 발견:
  • 0.5초 및 2.0초 지평(horizon)에서 세계 모델의 구간은 0을 제외하며, 이는 특정 시간대에서 더 강한 효과가 있음을 시사한다.
  • 상대 좌표 모델 역시 오염 군에서 더 낮은 오차를 보이지만, 세계 모델과 상대 모델 간의 누수 격차를 비교하는 직접적인 상호작용 테스트는 0을 통과하는 구간을 생성한다. 이는 좌표 표현이 누수 효과를 유의미하게 완화하지 못함을 나타낸다.
  • 점 추정치의 실질적인 크기에도 불구하고, 주요 결론은 부정적이다.

의의 및 주장
본 논문은 특정 "누수 패널티"의 크기를 증명했다고 주장하는 것이 아니라, 비행 모델링에서의 누수 주장은 기록 수준의 분할(recording-level splits)과 신선한 시드 복제(fresh-seed replication)를 통해 확인되어야 함을 입증한다.

• 방법론적 엄밀성: 본 연구는 단일 실행 또는 통제가 미흡한 실험에서 관찰되는 큰 성능 격차가 엄격한 기록 수준 분리와 무작위 시드 복제 하에서는 유지되지 않을 수 있음을 강조한다.
• 벤치마크 구축: 저자들은 미래의 비행을 목표로 하는 애플리케이션의 경우, 윈도우 생성 전에 데이터가 기록 수준에서 분할되어야 한다고 주장한다. 전처리, 하이퍼파라미터 튜닝 및 조기 종료는 오직 훈련 측 기록에만 의존해야 한다.
• 평가 표준: 발산하는 시도를 버리지 않는 "실패 인지" 지표를 사용하고, 짝을 이룬 멀티 시드 비교를 단순한 오차 막대가 아닌 핵심 설계 요소로 취급할 것을 권고한다.
• 절제된 결론: 저자들은 데이터가 누수로 인한 실질적인 낙관적 신호를 보여주기는 하지만, 통제된 기록 수준 분석 하에서는 그 신호가 불확실하다고 결론짓는다. 본 연구는 이러한 불확실성을 가시화하여, 탐색적 "Go" 결과로부터 선택적으로 보고된 확정적 주장으로 진행되는 것을 방지할 수 있는 재사용 가능한 프로토콜을 제공한다.