AI Models Excel at Orchestration but Falter at Biological Judgment: Findings from an Agentic Gene Annotation Study

기술 요약: AI 모델은 오케스트레이션에는 탁월하나 생물학적 판단력에서는 한계를 보인다

문제 정의
대규모 언어 모델(LLM) 에이전트는 분석을 지시하고 결과를 해석하기 위해 생물학적 워크플로우에 점점 더 많이 배치되고 있다. 그러나 이러한 시스템들은 일반적으로 두 가지 별개의 기능, 즉 워크플로우 제어(불확실성을 줄이기 위해 다음 단계로 수행할 분석을 결정하는 것)와 생물학적 판정(축적된 증거를 해석하여 최종적인 생물학적 결론에 도달하는 것)을 혼동한다. 현재의 엔드 투 엔드(end-to-end) 평가는 모델의 성공이 효율적인 오케스트레이션 덕분인지, 아니면 신뢰할 수 있는 생물학적 추론 덕분인지를 구별하기 어렵게 만든다. 또한, 프런티어 LLM의 범용적인 추론 능력이 워크플로우 제어에 반드시 필요한지, 아니면 제약된 결정 모델로도 충분한지, 그리고 LLM이 최종 생물학적 결정 계층으로서 신뢰할 수 있는 수준인지도 불분명하다.

방법론
본 연구는 서열 측정, 워크플로우 제어, 최종 판정을 분리하도록 설계된 박테리아 유전자 주석을 위한 증거 제약 프레임워크인 Genome Skeptic을 도입하였다.

• 아키텍처: 서열 수준의 측정값은 결정론적인 생물정보학 도구(BLAST+, MMseqs2, DIAMOND, HMMER)에 의해서만 생성되었다. 컨트롤러는 사전 정의된 레지스트리에서 후속 분석을 요청할 수만 있었으며, 새로운 측정값을 생성하거나 기존 데이터를 수정할 수 없었다.
• 코호트: tet(A) 및 tet(B) 유전자의 존재 여부에 따라 균형을 맞춘, 전향적으로 잠금(locked) 및 블라인드 처리된 20개의 박테리아 게놈 코호트가 선정되었다. 진실(Truth)은 두 가지 독립적인 증거 경로(참조 패널 비교 및 HMM 프로파일/계통 발생적 배치)를 통해 확립되었다.
• 실험 군:
  1. 컨트롤러 비교: 고정된 규칙 기반 판정기를 사용하여 네 가지 전략을 평가하였다: Fixed control, Exhaustive control, Jev(비 LLM, RLCD 기반의 유형 결정 모델), GPT-5.6 Sol(플래너 및 비평가 역할을 하는 LLM).
  2. 역할 교체(Role-Swap): 판정의 효과를 격리하기 위해, GPT-5.6 Sol 컨트롤 하에서 생성된 동일한 증거 기록을 규칙 기반 판정기 또는 최종 결정자 역할을 하는 GPT-5.6 Sol로 전달하였다. 새로운 분석은 실행되지 않았으며, 오직 동일한 증거 상태에 대한 해석만이 변경되었다.
• 지표: 정확도, 민감도, 특이도, 후속 분석 횟수, 지연 시간(latency), 비용. 미결정(UNRESOLVED) 호출은 사전 지정된 계획에 따라 오답으로 처리되었다.

주요 결과

1. 오케스트레이션 효율성: 워크플로우 컨트롤러로서 GPT-5.6 Sol은 고정(fixed) 및 전수(exhaustive) 전략과 동일한 정확도(20개 중 18개 정답)를 달성했으나, 후속 분석 횟수는 각각 32% 및 47% 적게 필요했다. 비 LLM 컨트롤러인 Jev는 Sol과 유사한 효율성과 정확도를 보이면서도 현저히 낮은 지연 시간과 비용으로 작동했다.
2. 판정 실패: 동일한 증거 상태에 대해 GPT-5.6 Sol 모델이 최종 결정 권한을 가졌을 때, 정확도는 20개 중 18개에서 11개로 크게 떨어졌다(McNemar P = 0.016).
   • 특이도는 1.00에서 0.30으로 하락했다.
   • 모델은 규칙 기반 판정기가 범한 두 가지 오류를 하나도 수정하지 못했다.
   • 주요 실패 모드는 위양성(false positive)을 생성하는 것이 아니라, 올바른 음성 호출(ABSENT)을 **미결정(UNRESOLVED)**으로 전환하는 것이었다. 9건의 모든 종점 불일치는 음성 호출을 미결정으로 전환한 것이었으며, 여기에는 규칙 기반 시스템이 올바르게 음성으로 식별했던 7건이 포함되었다.
3. 선행 연구: 60개 사례를 대상으로 한 선행 연구에서, 컨트롤러를 변경하면 증거 기록은 30~45건 변했지만 최종 종점(endpoint)은 변하지 않았다. 이는 컨트롤러의 차이가 증거 획득에는 영향을 미치지만, 판정 계층이 고정되어 있을 때는 최종 결정에는 영향을 미치지 않음을 확인시켜 준다.

핵심 기여

• 에이전트 역할의 분리: 본 연구는 워크플로우 오케스트레이션과 생물학적 판정이 서로 다른 성능 요구사항을 가진 별개의 계산 문제임을 입증하는 경험적 근거를 제공한다. 유익한 분석을 선택하는 데 효과적인 모델이 반드시 최종 생물학적 호출을 위한 신뢰할 수 있는 판정자가 되는 것은 아니다.
• 비 LLM 컨트롤러의 평가: Jev의 포함은 제약된 비 LLM 결정 모델이 루틴한 워크플로우 라우팅에서 프런티어 LLM과 대등한 효율성과 정확도를 보일 수 있음을 보여주며, 이는 잘 정의된 생물학적 맥락에서의 도구 선택에 일반 목적의 언어 추론이 불필요할 수 있음을 시사한다.
• 실패 모드 분석: 본 연구는 LLM이 판정자로 작용할 때, 결정론적 규칙이 해결할 수 있는 사례에 대해 오류를 수정하거나 놓친 양성을 식도하기보다 기권(UNRESOLVED 출력)하는 경향이 있다는 특정 실패 모드를 식별하였다.

의의 및 주장
본 논문은 과학적 에이전트 설계 시 오케스트레이션과 판정을 별개의 계층으로 취급해야 한다고 주장한다. 저자는 다음과 같이 주장한다:

• LLM은 오케 most (orchestration)에서 가치를 더하며, 불확실성을 줄이기 위해 어떤 분석을 수행할지 효율적으로 선택하는 데 도움을 주지만, 명시적이고 감사 가능한 결정 규칙과 비교했을 때 최종 생물학적 판정에서는 가치를 더하지 못하며(오히려 신뢰도를 낮출 수 있음).
• 계층적 아키텍처: 견고한 과학적 에이전트 아키텍처는 측정과 최종 판단에는 결정론적 시스템을, 루틴한 라우팅에는 경량화되거나 제약된 컨트롤러를, 상위 수준의 오케스트레이션이나 개방형 분석 선택에는 LLM을 할당해야 한다.
• 평가 표준: 엔드 투 엔드 과학 자동화에 대한 주장은 개별 에이전트 능력(계획, 검색, 판정)을 별도로 평가한 후에 이루어져야 한다. 엔드 투 엔드 지표는 중요한 결정 계층에서의 실패를 은폐할 수 있기 때문이다.

저자는 본 연구가 단일 유전자 패밀리 종점과 하나의 LLM 설정에 집중되었음을 언급하며 연구 범위에 대해 겸허한 태도를 유지한다. 저자는 LLM이 생물학적 해석에 보편적으로 부적합하다고 주장하는 것이 아니라, 오케스트레이션 능력이 판정 능력을 의미하지 않으며, 이 두 역할은 반드시 독립적으로 평가되어야 함을 강조한다.