기술 요약: ASIA – 자율 시스템 식별 에이전트

문제 정의

시스템 식별은 입력 - 출력 데이터로부터 동역학 모델을 학습하는 과정으로, 이는 상호 연결된 설계 선택의 복잡한 시퀀스를 요구합니다. 실무자는 모델 클래스 (선형 상태 공간부터 비선형 신경망까지) 를 선택하고, 아키텍처 하이퍼파라미터 (예: 네트워크 깊이, 커널 함수, 순환 셀 유형) 를 정의하며, 최적화 하이퍼파라미터 (예: 학습률, 정규화, 배치 크기) 를 조정해야 합니다. 현재 이러한 결정들은 경험적 시행착오와 도메인 전문 지식에 크게 의존합니다. 고정된 모델 계열에 대해서는 부분적 자동화 (예: 베이지안 최적화를 통한) 가 존재하지만, 모델 클래스의 선택과 훈련 알고리즘 자체의 설계는 여전히 대부분 수동이며 시간이 많이 소요되고 전문가의 직관에 의존합니다.

방법론: ASIA 프레임워크

저자들은 ASIA (자율 시스템 식별 에이전트) 를 제안합니다. 이는 최적의 식별 구성을 위한 반복적 탐색을 자율 코딩 에이전트로서 작동하는 대규모 언어 모델 (LLM) 에 위임하는 프레임워크입니다. ASIA 는 새로운 식별 알고리즘을 도입하는 것이 아니라, 발견의 과정 을 자동화합니다.

핵심 구성 요소

이 프레임워크는 최소한의 인간 개입으로 반복 루프를 통해 작동하며, 식별 문제에 대한 일반 영어 설명만 필요합니다. 이는 네 가지 주요 구성 요소로 이루어집니다:

1. 문제 설명: 작업, 사용 가능한 데이터, 사전 물리 지식, 후보 접근법 및 탐색 프로토콜을 상세히 기술한 문서.
2. 불변 평가 파이프라인: 데이터 전처리, 교차 검증 분할 및 평가 지표 ($V(\theta)$) 계산을 담당하는 읽기 전용 시스템. 이는 모든 후보 솔루션이 동일한 조건 하에서 평가되도록 보장합니다.
3. 수정 가능 구성 요소 ($\theta$): 에이전트가 자유롭게 편집할 수 있는 모델 아키텍처, 손실 함수 및 훈련 전략을 나타내는 코드 파일 집합.
4. 반복 실험 루프:
   • 에이전트는 이전 시도 ($T$) 의 기록 (코드 수정 및 성능 지표 포함) 을 분석합니다.
   • 새로운 가설을 수립하고 관련 코드를 편집하여 새로운 구성 $\theta_k$를 구현합니다.
   • 에이전트는 훈련과 평가를 실행하고 새로운 지표를 관찰한 후 내부 상태를 업데이트합니다.
   • 이 사이클은 계산 예산이 소진되거나 성능이 포화될 때까지 계속됩니다.

이 프레임워크는 Sonnet 4.6 LLM으로 구동되는 Claude Code를 사용하여 인스턴스화됩니다. 이는 도메인 지식 (예: 물리 법칙, 문헌 참조) 과 후보 전략의 주입을 지원하지만 이를 필수로 하지는 않습니다.

실증 사례 연구

저자들은 ASIA 를 두 가지 서로 다른 벤치마크에서 평가하여 기준선 대비 탐색 효율성과 최종 모델 품질을 비교했습니다.

1. 직렬 연결 2 탱크 시스템

• 작업: 측정되지 않은 상부 탱크 수위와 하드 포화 비선형성을 가진 두 개의 수조로 구성된 비선형 시스템을 식별합니다.
• 프로토콜: 1024 샘플 훈련 궤적에 대한 2 폴드 교차 검증; 오픈 - 루프 시뮬레이션 RMSE 를 통한 평가.
• 탐색 과정: 바닐라 RNN(4 개의 은닉 유닛, RMSE 0.681) 에서 시작하여 에이전트는 다음과 같이 진행했습니다:
  • 3 번째 반복: 잘린 역전파를 적용한 2 층 LSTM(128 유닛) 으로 전환하여 RMSE 를 0.430 으로 감소시켰습니다.
  • 5 번째 반복: 액티브 시간 상수 (LTC/CfC) 네트워크 (64 개의 은닉 상태) 로 LSTM 을 교체하여 귀납적 편향을 도입했습니다. 소산 시스템에 구조적으로 predisposed 된 이 아키텍처는 검증 RMSE 0.250 을 달성했습니다.
• 결과: 최종 앙상블 모델은 테스트 RMSE 0.298을 달성하여 벤치마크 문헌에서 보고된 최상위 결과와 동등한 성능을 보였습니다.

2. 나노 드론 동역학

• 작업: 실제 비행 데이터로부터 Crazyflie 2.1 쿼드콥터 (12 상태 MIMO 시스템) 의 비행 동역학을 식별합니다.
• 프로토콜: 궤적 하나를 제외하고 교차 검증; 50 스텝 롤아웃에 대한 평균 절대 오차 (MAE) 를 통한 평가.
• 탐색 과정: 단일 층 LSTM(MAE 0.707) 에서 시작하여 에이전트는 다음과 같이 진행했습니다:
  • 3 번째 반복: 물리 정보 아키텍처 (KinematicsLSTM) 를 도입했습니다. 여기서 순환 네트워크는 속도/각속도 증가량만 예측하고, 위치와 자세는 명시적 운동학적 적분을 통해 복원됩니다. 또한 추력을 대리하기 위해 입력에 제곱된 모터 속도를 추가했습니다.
  • 7 번째 반복: 훈련을 안정화하기 위해 스케줄링 샘플링을 구현하여 MAE 를 0.310 으로 감소시켰습니다.
  • 이후 반복들은 용량과 훈련 리듬을 정제하여 최종 MAE 0.286에 도달했습니다.
• 비교: ASIA 는 최종 성능과 탐색 효율성 모두에서 무작위 탐색 기준선 (30 회 반복) 을 능가했으며, 무작위 탐색의 최상위 성능을 단 3 번의 반복 만에 달성했습니다. 최종 모델은 원래 벤치마크 논문 [9] 의 최상위 방법보다 모든 출력 그룹 (위치, 속도, 자세, 각속도) 에서 더 우수한 성능을 보였습니다.

주요 기여 및 주장

이 논문은 다음과 같은 기술적 기여와 주장을 합니다:

• 자율 파이프라인 자동화: ASIA 는 LLM 기반 에이전트가 초기 프롬프트 이상의 인간 개입 없이 모델 클래스 선택, 아키텍처 설계, 훈련 전략 최적화를 포함한 전체 시스템 식별 파이프라인을 자율적으로 수행할 수 있음을 보여줍니다.
• 가설 공간 확장: 고정된 유한 차원 매개변수 공간에서 작동하는 그리드 탐색, 베이지안 최적화와 같은 고전적 최적화 방법과 달리, ASIA 는 모델 클래스와 훈련 전략의 결합 공간을 탐색합니다. 에이전트는 하이브리드 물리/블랙박스 구조나 쿠퍼만 (Koopman) 에서 영감을 받은 표현과 같이 명시적으로 사전 정의되지 않았던 비자명한 솔루션을 성공적으로 제안했습니다.
• 경쟁력 있는 성능: 이 프레임워크는 확립된 벤치마크에서 최첨단 결과를 일치시키거나 초과하는 모델을 발견하여 해당 분야에서 에이전트 AI 의 실현 가능성을 검증했습니다.

한계 및 비판적 분석

저자들은 이 접근법과 관련된 몇 가지 한계와 위험을 명시적으로 논의합니다:

• 암묵적 테스트 누출: 테스트 레이블에 직접 접근하지 않더라도, 에이전트는 테스트 성능 로그나 테스트 세트 평가에서 파생된 사전 지식 (문헌) 에 간접적으로 영향을 받을 수 있으며, 이는 과적합이나 암묵적 편향으로 이어질 수 있습니다.
• 방법론적 투명성: 생성된 코드는 로컬에서 해석 가능하지만, 최종 구성으로 이어지는 전역적 의사결정 순서는 불투명합니다. 이는 특정 설계 선택에 대한 근거가 명시적 인간 가설이 아닌 자동화된 반복 과정에서 도출되기 때문에 방법론의 "과학적 기여"를 감소시킵니다.
• 재현성: LLM 출력의 확률적 특성으로 인해 정확한 탐색 궤적은 다른 실행 간에 완벽하게 재현될 수 없습니다. 그러나 특정 구성이 선택되면 해당 특정 모델의 훈련은 표준 관행을 사용하여 재현 가능합니다.
• 편향: 에이전트의 탐색은 훈련 데이터와 내부 사전 지식에 의해 편향되어, 새로운 비관례적 접근법보다 확립된 아키텍처를 선호할 수 있습니다.

중요성 및 결론

이 논문은 ASIA 를 인간 주도 시스템 식별의 대체제가 아니라 보조 도구로 보아야 한다고 결론지었습니다. 그 주요 가치는 다음과 같습니다:

1. 실험 사이클 가속화.
2. 일상적인 설계 선택 자동화.
3. 인간 직관을 넘어선 가설 공간 탐색 확장.

저자들은 결과 해석, 모델 검증, 프롬프트 설계 및 관련 사전 지식 주입에 있어 인간 전문성이 여전히 필수적임을 강조합니다. 이 작업은 엔지니어링 연구에서 에이전트 AI 의 잠재력과 한계에 대한 초기 실증 연구로서, 향후 컨트롤러 튜닝 및 실험 설계에 적용될 가능성을 시사합니다.