기술 요약: 우주 자율성을 위한 에이전트 기반 자동 연구 (Agentic AutoResearch)

문제 정의

우주선의 학습된 유도, 항법 및 제어(GNC) 정책을 개발하는 것은 본질적으로 반복적인 연구 과정이다. 연구자들은 아키텍처를 선택하고, 하이퍼파라미터를 튜닝하며, 성능 향상이 실제적인 것인지 아니면 단순히 무작위 시드 변동(시드 노이즈)에 의한 결과물인지를 결정하기 위해 실험을 수행해야 한다. 이 과정은 노동 집약적이며, 단 한 번의 유리한 실행 결과를 견고한 결과로 오해하는 "과잉 주장(over-claiming)"의 위험이 있다. 대규모 언어 모델(LLM)이 자율적인 연구를 수행할 수 있는 유능한 에이전트로 부상했지만, 이 루프를 자동화하는 것은 새로운 위험을 초래한다. 즉, 통계적 규율이 강제되지 않는다면 실험 속도가 빠른 에이전트가 노이즈를 진전으로 착각할 위험을 가중시킬 수 있다는 점이다.

본 논문이 다루는 핵심 문제는 통계적 규 discipline(규율)이 준수되도록 보장하면서, 어떻게 LLM을 사용하여 항공우주 제어 연구 루프를 자동화할 것인가 하는 것이다. 이를 통해 모든 보고된 개선 사항이 통계적으로 유의미하고, 재현 가능하며, 특정 문제의 측정된 시드 노이즈에 대해 검증 가능하도록 한다.

방법론: AutoResearch 프레임워크

본 논문은 LLM이 제어 정책을 개발하는 엄격한 오프라인 연구 에이전트로 작동하고, 결과의 신뢰성을 인증하는 **신뢰 계층(credibility layer)**이 루프 내에서 작동하는 AutoResearch 프레임워크를 소개한다. 이 프레임워크는 폐쇄형의 기계 판독 가능한 상태 머신(state machine)으로 설계되었다.

1. 패밀리 계약 (The Family Contract)

다양한 항공우주 문제에 대한 재사용성을 보장하기 위해, 프레임워크는 네 가지 산출물로 구성된 "패밀리" 추상화를 정의한다:

• 문제 설명 (program.md): 목표, 지표, 베이스라인 및 허용된 변경 범위에 대한 자연어 명세서.
• 편집 가능한 훈련 스크립트 (train.py): 에이전트가 수정할 수 있는 구분된 영역(하이퍼파라미터 "편집 가능 표면")을 포함한다. 하단의 역학, 솔버 및 평가 프로토콜은 불변 상태로 유지된다.
• 레지스트리 (family.json): 대상 지표, 참조 베이스라인 및 현재 최적의 구성을 보유한다.
• 추가 전용 로그 (runs.jsonl): 완료된 모든 실험을 기록한다.

2. 에이전트 루프

루프는 세 가지 모듈로 구성된다:

• 제안자 (Proposer): 문제 설명, 실행 이력 및 현재 하이퍼파라미터를 읽는 LLM(실험에서는 Anthropic의 Claude Sonnet 4.5 사용)이다. 이 모델은 propose_experiment(가설, 특정 하이퍼파라미터 오버라이드, 예측된 실패 기준 포함) 또는 stop_research라는 구조화된 도구 호출을 출력하도록 강제된다. 시스템은 암기(memorization)를 방지하고 진정한 반복 탐색을 강제하기 위해 대상 지표와 베이스라인 값을 에이전트에게 숨기는 **블라인드 모드(blind mode)**로 작동한다.
• 실행자 (Runner): train.py의 편집 가능 영역을 패치하여 제안된 구성을 실행하고, 이를 독립된 서브프로세스로 실행한 뒤 단일 구조화된 지표 라인을 파싱한다.
• 오케스트레이터 (Orchestrator): 상태 머신을 관리하고, 종료 조건(예: 예산 제한, 정체 구간 탐지)을 강제하며, 서로 다른 구성이 중복 평가되지 않도록 보장한다.

3. 신뢰 계층 (The Credibility Layer)

핵심 혁신은 모든 보고된 결과를 게이팅(gating)하는 통계적 감사 계층이다. 결과는 다음 세 가지 검사를 통과해야만 실적으로 인정된다:

1. 측정된 시드 노이즈: 어떠한 개선 사항도 주장하기 전에, 프레임워크는 고정된 베이스라인 구성에 대해 $K$개의 시드에 걸친 지표의 표준 편차($\sigma$)를 측정한다. 이 $\sigma$는 이후 모든 주장의 측정 단위가 된다.
2. 재시딩 검증 (Reseeded Verification): 에이전트의 최적 구성은 별도의 홀드아웃(held-out) 시드 세트에서 재실행된다. 결과가 인정되려면 평균 개선치가 베이스라인보다 최소 $2\sigma$ 이상 높아야 하며(단측 효과 크기 게이트), 정책은 모든 시드에서 모든 하드 안전 제약 조건을 충족해야 한다.
3. 리브-원-아웃 프루닝 (Leave-One-Out Pruning): 어떤 편집이 결과에 실제로 기여했는지 식별하기 위해, 프레임워크는 각 수정된 파라미터를 개별적으로 되돌린다(revert). 파라미터는 "부하를 담당하는(load-bearing)" 요소(되돌렸을 때 성능이 저하됨), "무기력한 부수적 요소(inert hitchhikers)"(되돌려도 영향 없음), 또는 "잘못된 방향으로 움직인 요소(moved in the wrong direction)"(되돌렸을 때 성능이 향상됨)로 분류된다. 이 과정은 우연한 상관관계와 진정한 기여를 구분한다.

주요 기여

본 논문은 세 가지 주요 기여를 한다:

1. 에이전트 기반 실험을 위한 재사용 가능한 프레임워크: 동일한 에이전트 루프를 물리적 특성이 확연히 다른 문제들(예: 상대 궤도 운동 vs 충돌 회피)에 변경 없이 적용할 수 있게 하는 "패밀리 계약".
2. 신뢰할 수 있는 자율성을 위한 신뢰 계층: 결과를 측정된 시드 노이즈 단위로 명시하고, 재시딩 검증과 리브-원-아웃 절차를 요구함으로써 시드 운(luck)과 실제 이득을 분리하는 통계적 감사 메커니즘.
3. 항공우주 제어 문제에 대한 검증된 결과: 두 가지 서로 다른 우주선 유도 문제에 프레임워크를 적용하여, 감사된 정책이 무작위 탐색(random search)과 달리 측정된 시드 노이즈를 여러 표준 편차만큼 상회함을 입증함.

실험 결과

프레임워크는 행동 복제(behavioral cloning)를 통해 최적 제어 솔버를 피드백 정책으로 증류(distill)하는 두 가지 문제를 대상으로 테스트되었다.

1. 클로헤시-윌리츠(Clohessy–Wiltshire) 상대 랑데부

• 과업: 다양한 초기 조건으로부터 추격 우주선을 목표 지점으로 유도하는 정책 학습.
• 결과: LLM 에이전트는 평균 종단 거리(mean terminal distance)를 베이스라인 약 16m에서 0.094m(단일 시드 최적값)로 감소시켰다.
• 감사: 10개의 새로운 시드에 대해 재시딩한 결과 평균은 0.101m였으며, 이는 베이스라인 대비 15.0$\sigma$의 이득을 나타낸다.
• 비교: 일치하는 무작위 탐색(undirected random search)은 약 0.635m에서 정체되었다.
• 프루닝: 다섯 개의 부하 담당 편집(데몬스트레이션 횟수, 훈련 예산, 학습률, 은닉층 너비, 깊이)과 네 개의 결합적 효과를 가진 무기력한 편집을 식별했다.

2. 안전 제약 충돌 회피 도킹

• 과업: 목표 지점에 도달하는 동안 "금지 구역"(우주선이 진입해서는 안 되는 구역)을 통과하여 도킹.
• 결과: 에이전트는 안전 인지 도킹 점수 0.33(단일 시드 최적값)을 가진 정책을 찾아냈다.
• 감사: 10개의 새로운 시드에 대해 재시딩한 결과 0.38을 기록했으며, 이는 5.2$\sigma$의 이득이다. 결정적으로, 재시딩된 모든 케이스(100%)가 엄격하게 실행 가능(금지 구역 침범 제로)했다.
• 비교: 무작위 탐색(24회 시행)은 실행 가능한 정책을 단 하나도 만들어내지 못했다. 최적의 무작위 점수는 6.46이었으며, 대부분의 실행은 목표 지점에서 벗어났다.
• 프루닝: 데몬스트레이션 횟수와 훈련 예산이 주요 부하 담당 요소임을 식별했다. 런타임 제어 장벽 함수(CBF) 안전 필터가 실행 가능성을 확보하는 데 필수적이었다.

의의 및 주장

본 논문은 주요 기여가 새로운 유도 법칙 자체가 아니라, 자율적이고 감사 가능한 연구 프로세스 그 자체라고 주장한다. 의의는 다음과 같다:

• 자동화된 통계적 엄밀성: 통계적 규율(시드 노이즈 측정, 재테스트, 절제/ablation)을 사후 처리가 아닌 루프 내에 직접 통합함으로써, LLM 기반 연구를 정직하고 재현 가능하게 만들 수 있음을 입증했다.
• 안전 필수 검증: 무작식 탐색이 실행 가능한 솔루션을 전혀 찾지 못하는 안전 제약 문제에서도 프레임워크가 정책을 인증할 수 있음을 보여주었다.
• 관심사의 분리: LLM은 오직 오프라인 연구자로서만 기능하며, 훈련된 정책만이 탑재되어 운용된다. 이는 LLM의 할루시네이션(환각)이 실시간 제어에 미치는 위험을 완화한다.

저자들은 캠페인이 수십 회의 반복 횟수로 제한되었다는 점(처리량보다 신뢰성을 우선시함)을 언급하며 연구 범위를 겸허하게 설정하였고, 무작위 탐색과의 비교는 시드 노이즈 게이트의 중요성을 뒷받침하는 보조적인 수단임을 명시하였다. 이 연구는 미래 우주 임무를 위한 "빠르고 정직한" 학습된 자율성 개발의 토대를 마련한다.