Dual-Agent Framework for Cross-Model Verified Translation of Natural-Language Protocols into Robotic Laboratory Platform

기술 요약: 자연어 프로토콜의 로봇 실험 플랫폼을 위한 이중 에이전트 프레임워크 기반 교차 모델 검증 번역

1. 문제 정의

생물학적 실험 프로토콜은 전통적으로 비정형 자연어로 작성되는 반면, 자율 주행 실험실을 위한 자동화 시스템은 사전 정의된 결정론적 제어 명령에 의존한다. 이는 실행을 방해하는 상당한 "의미론적 격차(semantic gap)"를 생성한다. 이러한 도전 과제는 특히 마이크로플레이트 기반 실험(예: ELISA, Bradford assay)에서 두드러지는데, 이는 웰 매핑(well mapping), 시료-시약 조합, 반복 실험 배치 및 병렬 분주(parallel dispensing)의 동시 조율을 필요로 하기 때문이다.

현재의 접근 방식은 두 가지 주요 한계점에 직면해 있다:

1. 가변성 및 복잡성: 마이크로플레이트 프로토콜은 구조와 표현 방식에서 높은 가변성을 보인다. 단일 분석 유형(예: ELISA) 내에서도 단계, 시약 취급 및 조건이 매우 다양하다. 이를 실행 가능한 구조로 변환하려면 단순한 키워드 매칭이 아닌 구조적 추론과 맥락적 이해가 필요하다.
2. LLM의 신뢰성: 거대 언어 모델(LLM)은 과학적 텍나를 해석하는 데 유망하지만, 단일 엔드 투 엔드(end-to-end) LLM은 신뢰할 수 있는 다단계 계획을 생성하는 데 어려움을 겪는 경우가 많다. 이들은 다음과 같은 "환각(hallucinations)" 현상을 일으킨다:
   • 실행 환각(Execution Hallucinations): 장비 사양을 위반하는 제어 명령 생성 (예: 잘못된 팁 사용, 불가능한 액체 핸들링 순서).
   • 추론 환각(Reasoning Hallucinations): 단계 누락, 순서 오류 또는 조건 오해.
     직접적으로 LLM 출력을 로봇 제어에 사용하는 것은 실행 실패의 위험을 초래한다. 또한, 단일 모델 접근 방식은 실행 가능성을 명시적으로 검증하는 메커니즘이 부족하여 오류가 감지되지 않은 채 전파될 수 있다.

2. 방법론

본 연구는 구조화(Protocol Structuring), 결정론적 명령 매핑(Deterministic Command Mapping), 그리고 **교차 모델 검증(Cross-Model Verification)**의 3단계 파이프라인을 통해 의미론적 격차를 해소하는 **이중 에이전트 프레임워크(Dual-Agent Framework)**를 제안한다. 이 프레임워크는 플레이트 운송을 위한 SCARA 로봇, 액체 핸들링을 위한 갠트리 로봇, 그리고 플레이트 리더가 장착된 맞춤형 로봇 실험 플랫폼(KIMM BioForge-1)에서 작동한다.

핵심 구성 요소:

• 파서 에이전트 (Parser Agent, LLM 기반):
  • 제약된 해석 프롬프트를 사용하여 비정형 자연어 프로토콜을 구조화된 표현으로 변환한다.
  • 단계를 두 영역인 <MANUAL> (희석과 같이 사용자가 수행하는 작업)과 <INSTRUMENT> (액체 핸들링 및 인큐베이션과 같이 자동화된 작업)로 명확히 분리한다. 이 분리는 후속 매핑 엔진이 실행 가능한 단계에 대해서만 작동하도록 보장한다.
  • <KIT_TITLE>, <MANUAL>, <INSTRUMENT>와 같은 태그를 사용하여 정규화된 구조를 출력한다.
• 규칙 기반 매핑 엔진 (Rule-Based Mapping Engine):
  • 구조화된 프로토콜을 장치 수준의 제어 명령으로 변환하는 결정론적 실행 계층 역할을 한다.
  • 좌표 매핑(멀티 채널 피펫팅을 위한 웰 그룹화), 액체 핸들링, 팁 관리(교차 오염 방지), 플레이트 운송 및 환경 제어를 위한 사전 정의된 규칙을 적용한다.
  • 이 계층은 의미론적 단위와 실행 단위 사이의 입도 차이(예: 단일 "Wash 4×" 단계를 34개의 장치 수준 명령으로 확장)를 흡수한다.
• 검증 에이전트 (Validation Agent, 이종 LLM):
  • (파서와 다른) 별도의 LLM이 생성된 명령 시퀀스를 원래의 프로토콜과 대조하여 교차 검증을 수행한다.
  • 세 가지 기준을 검증한다: 완전성(단계 누락 여부), 매개변수 정확도(부피, 시간, 온도의 정확한 변환), 실행 순서(장비 제약 조건 준수 여부).
  • 오류가 감지되면, 에이전트는 구조화된 피드백(오류 유형, 위치, 가이드)을 생성하여 **자기 수정 루프(self-correction loop)**를 트리거하고, 구조화된 프로토콜과 명령 시퀀스를 재생성하게 한다.

실험 설계:

• 데이터셋: 온라인에서 수집된 1,000개의 프로토콜 중 무작위로 선택된 30개의 ELISA 프로토콜 (설명 스타일과 형식이 다양함).
• 그라운드 트루스 (Ground Truth): 두 개의 레이어로 구축됨: (1) 구조화된 프로토콜 GT 및 (2) 전문가 검토자에 의해 라벨링된 장치 수준 제어 명령 GT.
• 모델 풀 (Model Pool): 7개의 파서 모델(GPT-5부터 로컬 Llama 모델까지)과 3개의 검증 모델(GPT-5, llama-4-maverick, Claude Sonnet 4.6).
• 측정 지표:
  • 매개변수 정확도(Parameter Accuracy): 구조 및 명령 계층 전체에서 정확한 매개변수를 집계하며, 과잉 생성에 대해 페널티를 부여함.
  • 통과율(Pass Rate): 3회 시도 제한 내에서의 시도 횟수별로 분류 (1차 통과, 2차 통과, 3차 통과, 최종 실패).
  • 지연 시간(Latency): 프로토콜당 평균 처리 시간.

3. 주요 결과

• 교차 모델 검증의 효과성:
  • 자기 수정 루프의 효능은 단순히 모델의 이질성(heterogeneity)이 아니라, 검증자의 비판적 검증 능력에 크게 의존한다.
  • llama-4-maverick 및 GPT-5(자신과 같은 계열의 파서를 검증자로 사용할 때)와 같은 검증자들은 너무 관대하여 정확도 향상이 미미하고 "최종 실패" 비율이 높았다.
  • Claude Sonnet 4.6 검증자는 강력한 검증 능력을 보여주었다. 이 모델은 모든 파서 모델에 대해 재생성을 유도하여 정확도를 크게 향상시켰다. 예를 들어, GPT-4.1-mini의 정확도는 약 0.4에서 0.70.8로, llama-3.3-70b는 0.2에서 0.350.4로 향상되었다.
  • 교차 모델 조합(다른 계열 간의 조합)은 자기 검증 조합보다 우수한 성능을 보였으며, 이는 확증 편향을 완화한다.
• 정확도-지연 시간 트레이드오프 (Accuracy–Latency Trade-off):
  • 소규모 로컬 모델(예: GPT-4.1-nano)은 빠르지만 기본 정확도가 낮다. 그러나 강력한 검증자(Claude)와 결합될 때, 지연 시간을 늘리지 않고도 유효 정확도가 크게 상승하여 파레토 최적선(Pareto frontier)을 상향 이동시킨다.
  • 이는 실용적인 배포 전략을 제시한다: 데이터 프라이버시와 낮은 지연 시간을 유지하면서 높은 신뢰성을 달고 높은 정확도를 달성하기 위해 강력한 외부 검증자를 갖춘 온프레미스 소형 모델을 사용하는 것이다.
• 하이브리드 vs. 엔드 투 엔드:
  • 제안된 하이브리드 프레임워크(LLM + 규칙 기반 엔진)는 LLM 엔드 투 엔드 방식(LLM이 직접 장치 명령을 생성하는 방식)보다 매개변수 정확도와 지연 시간 측면에서 모두 우수한 성능을 보였다.
  • 규칙 기반 엔진은 실행 환각(예: 잘못된 팁 사용)을 제거하였으며, 이는 의미론적 해석과 결정론적 제약 강제를 분리하는 것이 더 우월함을 입증했다.
• 엔드 투 엔드 시연:
  • 본 프레임워크는 로봇 플랫폼에서 두 가지 실험(단순 분주 절차 및 총 단백질 정량을 위한 Bradford assay)을 성공적으로 수행하였다.
  • GPT-5를 파서로, Claude Sonnet 4.6을 검증자로 사용했을 때, 두 프로토콜 모두 재생성 없이 1차 시도에서 검증을 통과하였으며, 물리적 실행 및 정확한 표준 곡선 생성을 완료하였다.

4. 의의 및 주장

본 논문은 자연어 프로토콜과 마이크로플레이트 기반 자율 주행 실험실 사이의 의미론적 격차를 좁히기 위한 유연하고 모델 불가지론적인(model-agnostic) 접근 방식을 제공한다고 주장한다. 구체적인 기여는 다음과 같다:

1. 통합 프레임워크: 의미론적 구조화, 결정론적 명령 매핑, 교차 모델 검증을 처리하는 단일 파이프라인을 제시하여, 자연어에서 물리적 로봇 실행까지의 완전한 번역을 가능하게 한다.
2. 경량화된 정확도 회복: 추가적인 학습이나 미세 조정 없이도 추론 시점의 교정을 통해(이종 검증자 사용) 중·소형 LLM이 대규모 클라우드 모델에 근접하는 번역 정확도를 달-성할 수 있음을 입증한다.
3. 아키텍처 검증: 하이브리드 아키텍처(의미론을 위한 LLM + 제약을 위한 규칙 기반 엔진)가 로봇 제어를 위한 엔드 투 엔드 LLM 매핑보다 우수함을 검증하여, 환각 현상을 효과적으로 완화한다.
4. 인간 참여형(Human-in-the-loop) 패러다임: 연구자의 역할을 스크립트 작성 및 디버깅에서 실험 설계 및 감독으로 전환하여, 자율 실험실의 비전에 부합하도록 한다.

저자들은 현재의 검증이 마이크로플레이트 기반 절차(ELISA, 희석, 분주)에 국한되어 있으며, 다른 실험 유형(예: 세포 배양, PCR)으로 일반화하기 위해서는 규칙 기반 엔진의 확장이 필요하다고 언급하였으나, 모듈형 설계가 이를 지원함을 밝히고 있다.