기술 요약: GenCellAgent

문제 제기

세포 이미지 분할은 정량 생물학의 초석이지만, 이미징 모달리티의 이질성, 세포 및 세포소기관의 형태적 변이, 그리고 주석 데이터의 부족으로 인해 상당한 장애물에 직면해 있습니다. 기존 솔루션은 고전적인 수동 설계 파이프라인부터 Cellpose, SAM 파생 모델, MitoNet, ERNet 과 같은 전문 딥러닝 모델에 이르기까지, 서로 다른 실험실, 현미경 또는 표지 전략 간에 일반화하는 데 종종 어려움을 겪습니다. 새로운 도메인에 맞춰 모델을 재학습시키면 지연 시간과 비용이 발생하며, 현재 생체 이미지 분석을 위한 대규모 언어 모델 (LLM) 에이전트 시스템은 정적 계획에 의존하고 적응형 도구 선택이 부족하며 사용자 피드백으로부터 학습할 수 있는 장기 기억을 갖추지 못합니다. 따라서 재학습 없이 작동하고 분포 외 (OOD) 데이터를 처리하며 전문가의 인간 지침을 효율적으로 통합하는 견고하고 적응적인 분할 프레임워크가 필요합니다.

방법론

저자들은 장기 기억을 지원하는 구조화된계획자 - 실행자 - 평가자 루프를 통해 전문 분할기와 일반적 비전 - 언어 모델 (VLM) 을 조율하는 학습 없는 다중 에이전트 프레임워크인 GenCellAgent를 제시합니다. 이 시스템은 세 가지 조정된 LLM 에이전트로 구성됩니다:

1. 계획 에이전트 ($A_{plan}$): 중앙 조정자 역할을 합니다. 사용자 쿼리를 해석하고, 기억에서 관련 선행 지식을 검색하며, 워크플로우를 설계합니다. 이미지 스타일 유사성과 작업 요구 사항에 따라 도구를 동적으로 선택합니다. 특정 도구를 사용할 수 없거나 성능이 저하되면, 컨텍스트 내 적응 또는 텍스트 기반 생성으로 에스컬레이션합니다.
2. 실행 에이전트 ($A_{exe}$): 도구 호출을 조율합니다. 여기에는 다음이 포함됩니다:
   • 전문 도구: 대상 세포소기관과 이미지 모달리티에 따라 Cellpose, $\mu$SAM, CellSAM, MitoNet, ERNet 과 같은 최첨단 모델로 라우팅합니다.
   • 일반 도구: 전용 도구가 없거나 도메인 이동이 발생할 때 텍스트 기반 분할을 위한 에이전트 SAM3 와 컨텍스트 내 학습을 위한 SegGPT 를 활용합니다.
   • 인간 - 루프 (HITL): 양/음성 점과 다각형을 사용하는 그래픽 인터페이스를 통해 사용자 수정을 용이하게 합니다.
3. 평가 에이전트 ($A_{eval}$): 특정 기준 (예: 경계 정밀도, 형태학적 정확도) 에 따라 분할 품질을 평가하는 비전 - 언어 모델입니다. 반복적 개선을 위해 프롬프트를 정제할 수 있도록 수치 점수와 텍스트 피드백을 제공합니다.

주요 메커니즘:

• 지능형 도구 선택: 시스템은 입력 이미지와 앵커 데이터셋 간의 스타일 유사성 상관관계를 계산하여 이미지를 가장 성능이 우수한 전문 도구로 라우팅합니다.
• 컨텍스트 내 적응: 전문 도구가 OOD 데이터 (예: 다른 현미경 모달리티) 에서 실패할 때, 시스템은 기억에서 유사한 이미지 - 마스크 쌍을 검색하고 SegGPT 를 사용하여 재학습 없이 분할을 적응시킵니다.
• 텍스트 기반 분할: 전용 도구가 없는 새로운 객체의 경우, VLM(Gemini) 이 텍스트 설명을 해석하여 바운딩 박스를 생성한 후 SAM3 에 마스크 생성을 요청하는 반복적 파이프라인을 사용합니다. 이 루프는 평가 피드백을 기반으로 프롬프트를 정제합니다.
• 기억 기반 자기 진화: 성공적인 분할과 사용자 선호도는 장기 기억 모듈에 저장됩니다. 이를 통해 시스템은 퓨샷 학습을 위한 참조 예시를 검색하고 시간이 지남에 따라 개별 사용자 워크플로우에 적응할 수 있습니다.

주요 기여

1. 학습 없는 프레임워크: GenCellAgent 는 작업별 모델 재학습 없이 다양한 모달리티에서 고성능 분할을 달성합니다.
2. 다중 에이전트 조율: 이는 언어 기반 추론을 동적 계획 - 실행 - 평가 루프를 통해 도메인 특화 비전 도구와 연결하는 세포 이미지 분할에 LLM 에이전트를 적용한 최초의 사례입니다.
3. 적응형 라우팅 및 향상: 시스템은 각 이미지에 최적의 전문 도구를 자동으로 선택하고, 전용 도구가 실패하는 분포 이동 시 컨텍스트 내 학습을 활용하여 성능을 회복합니다.
4. 새로운 객체 분할: Golgi 장치와 같이 기존 모델이 다루지 않는 세포소기관에 대해 반복적 정제를 통해 완전히 자동화된 텍스트 기반 분할을 가능하게 합니다.
5. 개인화 및 자기 진화: HITL 수정을 기억에 통합함으로써 시스템은 사용자 피드백으로부터 학습하여 개인화된 워크플로우와 시간이 지남에 따른 지속적인 성능 개선을 가능하게 합니다.

결과

저자들은 위상차, 형광, 전자 현미경 등 다양한 현미경 모달리티에서 나온 4,718 장의 이미지로 구성된 7 가지 세포 분할 벤치마크에 걸쳐 GenCellAgent 를 평가했습니다.

• 도구 선택 정확도: GenCellAgent 는 87.2% 의 도구 선택 정확도를 달성하여 모든 데이터셋에서 개별 전문 도구 중 최상의 성능과 일치하거나 초과했습니다.
• 전체 성능: 시스템은 전체 테스트 세트에 걸쳐 평균 IoU(교집합 합집합 비율) 기준 전체 분할 정확도에서 모든 베이스라인 (Cellpose, $\mu$SAM, CellSAM) 을 능가했습니다.
• 분포 외 (OOD) 견고성: 전문 모델 (ERNet, MitoNet) 이 실패하거나 현저히 저하된 OOD 데이터 (예: ER 및 Golgi 를 위한 FIB-SEM 이미지) 에서 GenCellAgent 는 SegGPT 를 통한 컨텍스트 내 적응을 활용하여 이를 크게 능가했습니다.
• 새로운 객체 분할: 미토콘드리아, ER, Golgi 에 대한 제로샷 설정 (전용 학습 데이터 없이) 에서 GenCellAgent 는 독립적인 제로샷 베이스라인 (SAM3, CLIPSeg) 을 능가하고 특정 도메인에 대해 학습된 지도 모델의 성능에 근접했습니다.
• 자기 진화: 지속적 학습 시나리오에서 GenCellAgent 는 참조 예시 수가 증가함에 따라 성능이 향상되었으며, 동일한 데이터로 지속적으로 미세 조정된 SAM 기반 모델을 능가했습니다.
• 인간 - 루프: 최소한의 인간 수정 (점/다각형) 이 분할 품질을 크게 향상시켰으며, 시스템은 이러한 수정으로부터 효과적으로 학습하여 향후 실행을 개선했습니다.

의의

본 논문은 GenCellAgent 가 재학습 없이 견고하고 적응적인 세포 이미지 분할을 위한 실용적인 경로를 제공한다고 주장합니다. 주석 부담을 줄이고 자기 진화 기억을 통해 사용자 선호도를 맞춤화함으로써, 이 시스템은 생물학 연구자들에게 고급 분석을 광범위하게 접근 가능하게 만듭니다. 이 프레임워크는 에이전트 언어 모델 제어와 도메인 특화 비전 도구 간의 간극을 메워, 이질적이고 진화하는 생물학적 이미징 환경에 대한 확장 가능한 솔루션을 제공합니다. 저자들은 이 연구를 일상적인 실험실 환경에서 학습 없는 일반화 가능한 생체 이미지 워크플로우를 향한 기초적인 단계로 위치시킵니다.