기술 요약: TUSOAI: 과학적 방법을 위한 에이전트 최적화

문제 제기

과학적 발견은 종종 복잡한 실험 데이터를 분석하기 위한 계산 도구의 느리고 수동적인 개발에 의해 병목 현상을 겪습니다. 대규모 언어 모델 (LLM) 이 문헌을 종합하고 코드를 생성하는 능력을 입증해 왔음에도 불구하고, 기존 LLM 기반 시스템은 일반적으로 두 가지 범주로 분류됩니다: (1) 기존 도구와 파이프라인을 사용하여 과학적 분석을 수행하는 시스템, 또는 (2) 비구조화된 도메인 특화 과학 지식을 효과적으로 통합하지 않은 채 일반 응용을 위한 머신러닝 방법을 개발하는 시스템. 결과적으로, 문헌을 반복적으로 검토하고, 경험적 데이터에 대한 가정을 테스트하며, 통찰력을 효율적인 소프트웨어로 구현함으로써 특정 과학적 작업을 위해 새로운 계산 방법을 자율적으로 개발하고 최적화할 수 있는 시스템이 부재합니다.

방법론: TUSOAI

TUSOAI 는 과학적 작업 설명과 평가 함수가 주어졌을 때 계산 방법을 자율적으로 개발하고 최적화하도록 설계된 에이전트형 AI 시스템입니다. 이는 더 큰 코드베이스 내의 단일 함수에서 작동하여 기존 과학적 구조와의 유연한 통합을 가능하게 하면서, 과학자의 방법 개발 주기를 세 가지 핵심 단계를 통해 모방합니다.

1. 지식 수집 및 구조화

TUSOAI 는 먼저 작업과 관련된 최대 10 개의 주요 과학 논문을 검색하고 요약합니다. 그런 다음 도메인 지식의 2 단계 구조화된 표현인 지식 트리를 구성합니다:

• 카테고리: "노이즈 모델링", "모델 아키텍처"와 같은 고수준 최적화 전략이 논문 요약을 기반으로 초안 작성 및 정제됩니다. 각 카테고리에는 해당 전략의 추정 유용성을 나타내는 확률 가중치 ($\pi_c$) 가 할당됩니다.
• 지시사항: 각 카테고리 내에서 구체적이고 실행 가능한 지시사항이 생성됩니다 (예: "포아송 노이즈를 사용하여 드롭아웃 비율 모델링").
• 진단 카테고리: 사전 정의된 카테고리 ($I_{diag}$) 는 에이전트가 모델 진단을 지원하기 위해 진단 정보 (예: 분포 확인, 가정 검증) 를 기록하도록 안내합니다.

2. 초기화

시스템은 작업과 문헌을 기반으로 솔루션 설명을 초안 작성하고 정제하여 후보 솔루션 풀 ($S$) 을 초기화합니다. 이러한 설명은 구현되고 디버깅되어 초기 솔루션 풀을 형성합니다.

3. 반복 최적화

TUSOAI 는 최적화 루프 (기본 시간 예산: 8 시간) 에 진입하여 다양한 최상위 성능의 솔루션을 선택하고 두 가지 모드를 통해 이를 개선합니다:

• 지시사항 기반 최적화 (80% 확률): 에이전트는 베이지안 업데이트된 확률 ($\pi_c$) 을 기반으로 지시사항 카테고리를 샘플링합니다. 그런 다음 특정 지시사항을 선택하고 해당 지시사항과 최근 피드백을 활용하여 솔루션을 최적화합니다. 새로운 솔루션이 이전 솔루션보다 성능이 우수하면 해당 카테고리의 확률이 증가 (베이지안 업데이트) 하여 해당 전략의 유용성을 강화합니다.
• 진단 기반 최적화 (20% 확률): 에이전트는 진단 지시사항을 선택하고 모델을 실행하여 로그 (예: 학습 곡선, 가정 위반) 를 수집한 후, 이 정보를 활용하여 모델을 진단하고 개선합니다.

이 과정은 계층적 계획과 베이지안 업데이트를 통합하여 솔루션 품질과 다양성 사이의 균형을 맞추고, 최적화와 진단 피드백을 결합하는 세밀한 생성을 수행합니다.

주요 기여

1. TUSOAI 프레임워크: 지식 트리를 통해 구조화된 도메인 지식을 통합하는 과학적 방법 발견에 특화된 AI 에이전트 개발.
2. 새로운 최적화 메커니즘: (i) 구조화된 도메인 표현을 위한 지식 트리, (ii) 솔루션 품질과 다양성 간의 균형을 관리하기 위한 베이지안 업데이트를 포함한 계층적 계획, (iii) 모델 최적화와 진단 피드백을 통합하는 세밀한 생성을 특징으로 하는 프레임워크.
3. 종합 벤치마킹: 11 개의 과학적 작업 (6 개의 단일 세포 분석 작업 및 5 개의 과학적 딥러닝 작업) 에 대한 평가로, 최첨단 MLE 에이전트 (예: AIDE), 과학적 AI 에이전트 (예: Biomni), 그리고 전문가가 설계한 방법보다 일관되게 우수한 성능을 입증.
4. 과학적 영향: 유전학의 두 가지 주요 미해결 문제에 적용하여, TUSOAI 가 기존 계산 방법을 개선하고 이전 접근법에서는 놓쳤던 새로운 생물학적 통찰력을 발견함.

실험 결과

저자들은 다양한 도메인에서 AIDE, Biomni, ChatGPT-Agent, 그리고 최상위 성능의 전문가 방법 등을 포함하는 기준선과 TUSOAI 를 평가했습니다.

• 단일 세포 분석: TUSOAI 는 6 개의 작업 (예: 노이즈 제거, 배치 통합, 공간 변수 유전자 식별) 에서 평균 순위 1.2를 기록하여 두 번째로 좋은 방법 (AIDE, 순위 3.0) 보다 현저히 우수한 성능을 보였습니다. 특히 노이즈 제거 작업에서 TUSOAI 는 드롭아웃 비율과 포아송 노이즈를 모델링한 새로운 비음수 행렬 분해 (NMF) 접근법을 설계하여 ALRA 와 같은 기존 NMF 기반 방법보다 우수한 성능을 발휘했습니다.
• 과학적 딥러닝: 5 개의 작업 (예: 구면 비전, 심전도 진단, 유전 예측) 에서 TUSOAI 는 평균 순위 2.8을 기록하여 전문가가 설계한 모델과 NAS 방법을 능가했습니다.
• 코드 다양성: TUSOAI 는 AIDE 보다 훨씬 높은 다양성을 가진 코드를 생성하여, 단일 접근법의 점진적 변형이 아닌 다양한 기법 (예: 다양한 차원 축소 및 스케일링 방법) 을 탐색함으로써 지역 최적점에 빠지는 것을 방지했습니다.
• 효율성: TUSOAI 가 구축한 모든 방법은 계산적으로 효율적이었으며, 단일 세포 작업은 3 분 미만, 딥러닝 작업은 8 분 미만에서 실행되었습니다.

유전학 사례 연구

이 논문은 TUSOAI 가 새로운 생물학을 밝혀낸 두 가지 구체적인 응용 사례를 강조합니다:

1. 질병 결정적 세포 집단 감지: GWAS 를 scRNA-seq 에 연결하는 방법인 scDRS의 점수 함수를 최적화했습니다. TUSOAI 가 최적화한 버전은 인과 시뮬레이션에서 40% 이상 높은 검정력을 달성했으며, 실제 데이터에서 21% 더 많은 참된 세포 유형 - 질병 연관성을 식별했습니다. 이는 원래 방법에서는 놓쳤던 26 개의 질병 관련 T 세포 아집단, 특히 1 차성 담도 경화증과 관련된 조절 T 세포를 발견했습니다.
2. 유전적 변이와 유전자 연결: 단일 세포 멀티옴 데이터를 사용하여 변이를 표적 유전자에 연결하는 pgBoost를 최적화했습니다. 최적화된 모델은 gold-standard 링크의 enrichment 를 eQTL 의 경우 13.8%, ABC 링크의 경우 7.2% 향상시켰으며, 특히 더 긴 변이 - 유전자 거리의 경우 그 효과가 두드러졌습니다. 이는 알려진 생물학적 역할과 일치하는 GCK 유전자와 포도당 관련 변이 사이의 연결을 포함하여 7 개의 새로운 변이 - 유전자 연결을 밝혀냈습니다.

중요성 및 주장

이 논문은 TUSOAI 가 자동화된 과학적 방법 개발을 향한 유망한 단계임을 주장합니다. 구조화된 도메인 지식을 통합하고, 도메인 특화 최적화를 수행하며, 진단 피드백을 활용하는 과학자의 반복적 주기를 모방함으로써 TUSOAI 는 견고한 계산 방법의 생성을 가속화합니다. 저자들은 이 역량이 표준 벤치마크에서의 성능을 향상시킬 뿐만 아니라, 기존 전문가가 설계한 방법으로는 놓쳤던 생물학적 메커니즘과 연관성을 발견함으로써 과학적 발견에 적극적으로 기여한다고 주장합니다. 이 시스템은 구조화된 지식과 반복적 최적화와 결합된 LLM 이 단순한 데이터 분석을 넘어 과학적 알고리즘의 실제 설계로 나아갈 수 있음을 보여줍니다.