기술 요약: AUTOSCIENTISTS

문제 제기

과학적 연구는 본질적으로 반복적이며, 가설 생성, 실험 설계, 실행, 수정의 사이클을 포함합니다. AI 에이전트가 이 과정의 일부를 자동화하기 시작했지만, 기존 접근법은 일반적으로 단일 연구 경로를 따르거나 고정된 목표를 가진 중앙 계획자에 의존합니다. 이러한 시스템은 장기 실험 동안 병렬 탐색을 유지하거나, 변화하는 실험적 증거에 적응하거나, 실패한 방향에 대한 지식을 보존하는 데 어려움을 겪습니다. 현재 다중 에이전트 시스템은 종종 경직된 구조 (예: 문제를 분해하는 계획자 또는 투표를 통해 수렴하는 에이전트) 를 통해 조정되며, 검색 공간을 초기에 안정적인 방향으로 분할할 수 있다고 가정합니다. 그러나 장기적인 과학 실험에서는 증거가 축적됨에 따라 생산적인 방향이 변화하며, 처음에는 유망해 보였던 가설이 더 이상 개선을 이끌어내지 않을 수 있습니다.

방법론: AUTOSCIENTISTS

저자들은 장기적인 계산 과학 실험을 위해 설계된 분산형 AI 에이전트 팀인 AUTOSCIENTISTS를 소개합니다. 중앙 조정자나 고정된 분할에 의존하는 이전 시스템과 달리, AUTOSCIENTISTS 는 중앙 오케스트레이터 없이 작동하며 에이전트들이 공유된 실험 상태를 기반으로 스스로 조직화할 수 있도록 합니다.

핵심 아키텍처

이 시스템은 검색 과정에서 내부 상태를 유지하는 $n$개의 장기 실행 대규모 언어 모델 (LLM) 에이전트를 배치합니다. 시스템은 두 가지 단계를 번갈아 가며 수행합니다:

1. 토론 및 자기 조직화: 에이전트들이 작업, 현재 챔피언 모델 ($p^*$), 그리고 이전 포럼 게시물을 분석합니다. 그들은 연구 방향을 제안하고, 제안을 비판하며, 팀 ($T_1, \dots, T_K$) 으로 조직화합니다. 이 과정은 역동적입니다. 한 팀이 더 이상 개선을 생산하지 않으면, 에이전트들이 새로운 가설에 기반하여 팀을 재조직, 병합, 분할 또는 은퇴시키기 위해 새로운 토론 단계를 촉발합니다.
2. 병렬 실행: 팀들이 병렬로 실험을 실행합니다. 각 팀은 두 가지 전문화된 역할로 구성됩니다:
   • 분석 에이전트 (Analyst Agents): 검색 지식을 유지하고, 테스트되지 않은 매개변수를 감사하며, 경험적 효과 크기에 따라 연구 방향을 순위 매기고, 팀 대기열에 실험을 제안합니다. 그들은 제안의 다양성을 보장하고 미탐색 방향을 우선시합니다.
   • 실험 에이전트 (Experiment Agents): 대기열에서 실험을 청구하고, 챔피언에 코드 변경을 적용하며, 모델을 훈련시키고, 결과를 기록합니다.

공유 상태 및 조정

모든 에이전트가 접근 가능한 공유 상태 $S$를 통해 조정이 이루어지며, 이는 다음을 포함합니다:

• 챔피언 ($p^*$): 전체 하이퍼파라미터와 재현 지침을 갖춘 현재 최우수 모델.
• 실험 로그 ($L$): 결과, 지표 델타, 훈련 진단을 포함한 모든 완료된 실험의 기록.
• 공유 포럼 ($F$): 제안 논의, 결과 발표, 기작 분석 공유를 위한 구조화된 공간.
• 팀 로컬 상태: 실패한 방향을 추적하고 중복 탐색을 피하기 위한 팀별 실험 대기열 ($Q_k$) 과 막다른 길 등록부 ($D_k$).

노이즈 인식 검증

"챔피언 오염" (확률적 노이즈에 기반한 모델 홍보) 을 방지하기 위해 시스템은 노이즈 인식 게이트를 사용합니다. 경험적으로 측정된 노이즈 밴드 내의 개선 사항은 챔피언으로 승격되기 전에 두 번째 무작위 시드에서 확인됩니다. 이는 견고한 개선만이 검색 경로를 주도하도록 보장합니다.

주요 기여

1. 자기 조직화 에이전트 팀: 에이전트들이 공유된 실험 상태를 독립적으로 해석하고 어떤 가설을 추구할지 결정하는 새로운 프레임워크. 팀은 외부 할당이 아닌 상호작용을 통해 역동적으로 형성되어 연구 방향이 자연스럽게 등장하고 진화할 수 있게 합니다.
2. 실행 전 비판: 에이전트들이 제안을 공유 포럼에 게시하여 동료들이 연산이 할당되기 전에 약한 아이디어를 비판하고 필터링함으로써 중복 탐색을 줄입니다.
3. 지속적 개선: 시스템은 고갈된 방향을 은퇴시키고 새로운 가설을 중심으로 재조직함으로써 단일 에이전트 기준선이 정체된 후에도 생산적인 수정 사항을 계속 식별하도록 설계되었습니다.
4. 종합적 아티팩트 생성: 최종 모델 외에도 시스템은 가설의 진화, 포기된 방향, 실험 검색 과정을 문서화하는 모델 카드와 연구 결과 보고서를 생성합니다.

실험 결과

저자들은 매칭된 실험 예산 하에서 세 가지 도메인에서 AUTOSCIENTISTS 를 평가했습니다:

1. 생물의학 머신러닝 (BioML-Bench)

• 범위: 생물의학 영상, 신약 개발, 단백질 공학, 단일 세포 오믹스를 아우르는 24 개의 엔드 투 엔드 작업.
• 성능: AUTOSCIENTISTS 는 모든 24 개 작업에서 평균 리더보드 백분위수 **74.4%**를 달성하여, 가장 강력한 이전 에이전트 (Autoresearch) 보다 +8.33 백분율 포인트 더 높은 성과를 거두었습니다.
• 도메인 세부 사항: 가장 큰 개선은 신약 개발에서 관찰되었으며, 평균 리더보드 백분위수가 46.16%(Autoresearch) 에서 64.52% 로 향상되었습니다. 단백질 공학에서는 AUTOSCIENTISTS 가 최상위 성능 (96.97%) 을 달성했으나 더 나은 평균 순위를 기록했습니다.

2. GPT 훈련 최적화

• 범위: 검증 비트 퍼 바이트 (val_bpb) 를 지표로 사용하여 GPT 나노챗 모델의 훈련을 최적화.
• 효율성: 동일한 기준선에서 시작하여 AUTOSCIENTISTS 는 34 회 실험에서 목표 val_bpb 인 약 0.978 에 도달한 반면, Autoresearch 는 65 회 실험이 필요했습니다 (1.9 배 속도 향상).
• 지속적 발견: AUTOSCIENTISTS 가 찾은 챔피언 (val_bpb = 0.9777) 에서 시작했을 때, 시스템은 93 회 실험 동안 7 개의 승인된 개선 사항을 발견했습니다. 반면, 단일 에이전트 Autoresearch 접근법은 100 회 실험 동안 0 개의 개선 사항을 발견했으며, 국소 최적점 근처의 방향을 반복적으로 교란시켰습니다.

3. 단백질 적합성 예측 (ProteinGym)

• 범위: 단백질 변이 효과 예측을 위한 Kermut 가우시안 프로세스 방법 확장.
• 성능: ACE2–Spike 결합 분석에서 AUTOSCIENTISTS 는 스피어만 상관관계 ($\rho$) 를 0.747(Kermut) 에서 0.840으로 향상시켰습니다 (+12.5%).
• 일반화: 발견된 방법을 고정하여 수정 없이 전체 217 개 분석 ProteinGym 벤치마크에 적용한 결과, 공식 평균 스피어만 $\rho$가 0.657에서 0.700으로 향상되었습니다 (+6.5%), 이는 다른 모든 지도 학습 기준선보다 우수한 성과였습니다.

제거 연구 (Ablation Studies)

저자들은 시스템 구성 요소의 기여도를 분리하기 위해 제거 연구를 수행했습니다:

• 분석 에이전트 부재: 분석 에이전트를 제거하면 TDC-hERG 에서 성능이 크게 저하되어, 안내된 제안 생성의 중요성을 나타냅니다.
• 교차 에이전트 피드백 부재: 댓글 및 비판 기능을 비활성화하면 Human Plasma-Protein Binding 에서 성능이 저하되어, 집단적 필터링의 가치를 강조합니다.
• 자기 조직화 부재: 팀 구조를 고정하면 정체 상황에 적응하지 못하게 되어 GPT 훈련 최적화에서 가장 큰 성능 저하를 초래했습니다.
• 독립 에이전트: 공유 상태와 조정을 제거하면 성능이 가장 심각하게 저하되었습니다 (예: Cell-Cell Communication). 이는 고립된 에이전트들이 작업을 중복하고 호환되지 않는 국소 최적점으로 수렴함을 보여줍니다.

중요성 및 주장

이 논문은 AUTOSCIENTISTS 가 기존 AI 에이전트의 중요한 한계인, 증거가 축적되고 생산적인 방향이 변화함에 따라 실험적 검색을 지속하지 못하는 문제를 해결한다고 주장합니다. 중앙 계획자 없이 에이전트 팀이 설계 공간을 탐색하고 협력할 수 있게 함으로써, 시스템은 고정된 연산 예산 하에서 실험 검색 효율성을 향상시킵니다.

저자들은 AUTOSCIENTISTS 가 장기 실험을 집단적 검색 과정으로 전환한다고 강조합니다. 주요 이점은 다음과 같습니다:

• 효율적인 자원 활용: 에이전트들이 실행 전에 제안을 평가하고 실패에 대한 지식을 공유하여 막다른 길로 가는 것을 방지합니다.
• 적응성: 시스템은 진행이 정체될 때 팀을 재조직하여 개별 에이전트가 정체된 후에도 생산적인 수정 사항을 계속 식별할 수 있습니다.
• 투명성: 시스템은 실패한 방향과 기작 분석을 포함한 검색 과정의 완전한 기록을 생성하여 재현성과 과학적 통찰력을 용이하게 합니다.

이 연구는 실험 반복이 비용이 많이 드는 계산 생물의학 및 과학적 머신러닝 설정에서 특히 자율적 과학 발견을 향한 한 걸음으로 제시됩니다. 저자들은 시스템이 모델링 선택의 발견을 가속화하지만, 출력물은 전문가 검토와 독립적 검증 없이 임상적으로 실행 가능한 것으로 간주되어서는 안 된다고 지적합니다.