Talk Freely, Execute Strictly: Schema-Gated Agentic AI for Flexible and Reproducible Scientific Workflows

이 논문은 과학적 워크플로우의 유연성과 결정론적 실행 간의 상충 관계를 해결하기 위해 대화와 실행 권한을 분리하고 스키마를 필수 실행 경계로 삼는 '스키마 게이트' 아키텍처를 제안하며, 이를 통해 인간 전문가 패널을 대체할 수 있는 다중 모델 평가 방법론과 3 가지 운영 원칙을 제시합니다.

핵심

과학 실험실의 새로운 조수: "자유롭게 대화하되, 엄격하게 실행하라"

이 논문은 인공지능 (AI) 이 과학 연구에 어떻게 도움을 줄 수 있는지, 그리고 그 과정에서 가장 큰 걸림돌이 무엇인지, 또 어떻게 해결할 수 있는지 이야기합니다.

1. 문제: "말은 자유롭지만, 실행은 엉망" vs "실행은 정확하지만, 말은 딱딱"

상상해 보세요. 과학자들이 AI 에게 "새로운 합금 재료를 찾아줘"라고 말한다고 가정해 봅시다.

• 현재의 AI (자유로운 대화형): AI 는 마치 창의적인 예술가처럼 즉시 코드를 짜고 실행합니다. 하지만 매번 실행할 때마다 조금씩 다른 코드를 짜거나, 실수를 하거나, "어떤 데이터를 썼는지"조차 기억하지 못할 수 있습니다. 마치 요리사가 손맛만 믿고 요리하는 것과 같습니다. 맛은 좋을지 모르지만, 레시피를 남기지 않아 다음에 똑같은 요리를 만들 수 없습니다.
• 기존의 시스템 (엄격한 워크플로우): 반면, 기존 시스템은 레시피 (워크플로우) 를 미리 정해진 대로만 따릅니다. 실행은 완벽하게 정확하고 기록도 남지만, "이번엔 소금 양을 조금 줄여볼까?"라고 대화하며 실험을 바꿔보기가 매우 어렵습니다. 마치 공장 컨베이어 벨트처럼 정해진 대로만 움직일 뿐, 유연성이 없습니다.

과학 연구에서는 "자유롭게 아이디어를 논의할 수 있어야 하지만 (Conversational Flexibility)", 동시에 "결과가 정확하고 재현 가능해야 (Execution Determinism)" 합니다. 하지만 지금까지는 이 두 가지를 동시에 잡는 것이 거의 불가능했습니다.

2. 해결책: "스키마 게이트 (Schema-Gated)"라는 문지기

이 논문은 이 문제를 해결하기 위해 **"스키마 게이트 (Schema-Gated)"**라는 새로운 방식을 제안합니다.

비유: "명령어 인가 시스템"

이 시스템을 한 식당에 비유해 볼까요?

1. 고객 (연구자): "오늘 메뉴는 뭐가 있을까? 그리고 오늘 특제 소스를 조금 더 넣은 스테이크를 만들어줘."라고 자유롭게 주문합니다. (대화의 자유)
2. 주문 접수 (AI 조수): AI 는 고객의 말을 듣고 "네, 스테이크에 특제 소스를 추가하는 주문을 받았습니다"라고 이해합니다.
3. 문지기 (스키마 게이트): 여기서 중요한 부분이 나옵니다. AI 가 바로 주방으로 달려가 요리를 시작하는 것이 아닙니다. 대신, **엄격한 규칙을 가진 '문지기' (게이트)**가 주문 내용을 확인합니다.
   • "소스 추가"라는 명령이 시스템에 정의된 '소스 추가' 메뉴에 맞는 형식인가요?
   • 재료가 충분한가요?
   • 안전 규정을 위반하지 않나요?
4. 주방 (실행 엔진): 문지기가 "주문서 (스키마) 가 완벽하게 맞습니다"라고 확인해 주면, 비로소 주방이 요리를 시작합니다.

이 방식의 핵심은 **"대화는 자유롭게 하되, 실제 실행 (요리) 을 하려면 반드시 미리 정해진 규칙 (주문서) 을 통과해야 한다"**는 것입니다.

3. 이 방식이 가져오는 3 가지 장점

이 "문지기 시스템"이 도입되면 과학 연구는 어떻게 변할까요?

• 1. 실수 방지 (안전): AI 가 엉뚱한 데이터를 읽거나, 잘못된 코드를 짜서 실행하는 실수를 막아줍니다. 문지기가 "아니요, 이 주문서는 형식이 틀렸습니다"라고 막아주기 때문입니다.
• 2. 기록의 투명성 (투명성): 모든 실행은 검증된 '주문서'를 기반으로 하므로, 누가, 언제, 무엇을 실행했는지 완벽하게 기록됩니다. 나중에 "왜 이런 결과가 나왔지?"라고 물을 때, 그 주문서를 다시 보면 바로 답이 나옵니다.
• 3. 유연한 실험 (유연성): 연구자가 "이번엔 소금 대신 후추를 써볼까?"라고 말하면, AI 는 그 내용을 새로운 '주문서'로 만들어 문지기에 다시 확인받습니다. 규칙만 지키면, 실험을 자유롭게 바꿔가며 할 수 있습니다.

4. 결론: 과학의 미래를 여는 열쇠

이 논문은 단순히 "AI 가 더 똑똑해지자"는 이야기가 아닙니다. **"AI 가 과학자처럼 자유롭게 생각하되, 과학 실험실의 엄격한 규칙을 지키는 조수"**가 되어야 한다고 말합니다.

• 자유로운 대화 (Conversational Flexibility): "이거 해줘, 저거 바꿔줘"라고 말로만 지시할 수 있어야 합니다.
• 엄격한 실행 (Execution Determinism): 하지만 실제로 실행될 때는 미리 정해진 안전장치 (스키마) 를 통과한 명령이어야 합니다.

이 두 가지를 동시에 잡는 '스키마 게이트' 시스템이 등장하면, 과학자들은 더 이상 복잡한 코딩이나 기록 관리에 시간을 낭비하지 않고, 오직 새로운 발견에만 집중할 수 있게 될 것입니다. 마치 유능한 비서가 모든 서류 작업을 완벽하게 처리해 주면서, 사장님 (과학자) 은 오직 중요한 결정만 내릴 수 있게 되는 것과 같습니다.

이 기술이 보편화되면, 과학 연구는 더 빠르고, 더 안전하며, 더 신뢰할 수 있는 방향으로 발전할 것입니다.

기술 요약

이 논문은 "Talk Freely, Execute Strictly: Schema-Gated Agentic AI for Flexible and Reproducible Scientific Workflows" (자유롭게 대화하고 엄격하게 실행: 유연하고 재현 가능한 과학 워크플로우를 위한 스키마 게이트 에이전트 AI) 라는 제목으로, 과학 연구 및 개발 (R&D) 분야에서 대형 언어 모델 (LLM) 기반 에이전트 AI 의 도입 시 발생하는 재현성 (Reproducibility) 과 유연성 (Flexibility) 간의 트레이드오프 문제를 해결하기 위한 새로운 아키텍처를 제안합니다.

주요 내용은 다음과 같습니다.

---

1. 문제 정의 (Problem)

현대 과학 발견은 데이터 준비, 모델링, 분석 등 다양한 도구를 연결하는 계산 워크플로우에 의존합니다. 그러나 이를 지원하는 소프트웨어 생태계는 파편화되어 있으며, LLM 을 활용한 자연어 기반 워크플로우 자동화는 다음과 같은 딜레마를 야기합니다.

• 생성형 (Generative) 접근법의 한계: 자연어로 코드를 생성하거나 도구를 호출하는 방식은 높은 유연성을 제공하지만, 실행의 결정론적 성질 (Determinism) 이 부족하고 재현성, 감사 추적성 (Provenance), 거버넌스 (Governance) 를 보장하기 어렵습니다.
• 워크플로우 중심 (Workflow-centric) 접근법의 한계: Galaxy, Snakemake, Nextflow 와 같은 전통적인 워크플로우 시스템은 명확한 명세와 검증으로 높은 재현성을 보장하지만, 자연어 인터페이스가 부족하여 탐색적 연구나 빠른 반복 작업에 비효율적입니다.
• 핵심 갈등: 과학 연구자들은 **"실행의 결정론적 성질 (Execution Determinism, ED)"**과 **"대화적 유연성 (Conversational Flexibility, CF)"**을 동시에 요구하지만, 기존 시스템은 이 두 가지 요구사항을 동시에 충족시키지 못합니다.

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 다음과 같은 체계적인 연구 방법을 사용했습니다.

• 사용자 연구 및 요구사항 도출: 10 개 산업 R&D 이해관계자 (화학, 재료, 반도체 등) 에 소속된 18 명의 전문가와 반구조화된 인터뷰를 실시했습니다. 이를 통해 실행의 결정론적 성질과 대화적 유연성이라는 두 가지 상충되는 요구사항과 이를 해결하기 위해 반드시 만족해야 하는 경계 속성 (Boundary properties: 인간 개입, 투명성/추적성) 을 도출했습니다.
• 시스템 아키텍처 분석 및 평가: 20 개의 대표 시스템 (생성형 에이전트, 워크플로우 도구, LLM 프레임워크 등) 을 **실행 결정론 (ED)**과 **대화적 유연성 (CF)**이라는 두 축으로 평가했습니다.
  • 다중 모델 평가 프로토콜: 인간 전문가 패널 대신 3 가지 LLM 패밀리 (ChatGPT, Claude, Gemini) 를 사용하여 15 번의 독립 세션으로 시스템을 평가했습니다. Krippendorff's α (0.80~0.98) 를 통해 모델 간 높은 일관성을 입증하여, LLM 기반 아키텍처 평가의 재사용 가능성을 보였습니다.
• 패러다임 분류: 평가 결과를 바탕으로 시스템을 5 가지 그룹 (생성형, 도구 증강형, 스키마 게이트형, 워크플로우+NL, 워크플로우 중심형) 으로 분류하고, ED/CF 설계 공간에서의 파레토 프론트 (Pareto front) 를 시각화했습니다.

3. 핵심 기여 (Key Contributions)

A. 스키마 게이트 오케스트레이션 (Schema-Gated Orchestration) 제안

논문의 핵심 제안은 **"스키마 게이트"**를 실행의 필수 경계로 설정하는 아키텍처 원칙입니다.

• 원리: 대화 (Conversational Authority) 와 실행 (Execution Authority) 을 분리합니다. LLM 은 자유롭게 의도를 해석하고 계획을 수립할 수 있지만, 실제 실행 단계에서는 **기계적으로 검증 가능한 스키마 (JSON Schema 등) 를 통과한 유효한 호출 객체 (Invocation Object)**만이 실행됩니다.
• 효과: 이 방식은 대화의 유연성을 유지하면서도 실행 단계에서의 결정론적 성질과 재현성을 보장합니다.

B. 3 가지 운영 원칙 (Operational Principles)

1. 실행 전 명확화 (Clarification-before-execution): 스키마 게이트가 불완전하거나 잘못된 호출을 거부하면, 이를 실패가 아닌 대화적 명확화 요청 (예: 누락된 필드, 타입 불일치) 으로 전환합니다.
2. 제약된 계획 - 실행 오케스트레이션 (Constrained plan–act orchestration): 계획 단계에서는 에이전트가 자유롭게 추론하지만, 실행 단계에서는 스키마 검증이 필수적으로 적용됩니다.
3. 도구 수준에서 워크플로우 수준으로의 게이팅: 단순한 도구 호출뿐만 아니라, 다단계 워크플로우 간의 데이터 흐름, 의존성, 타입 호환성을 전체적으로 검증합니다.

C. 참조 아키텍처 (Reference Architecture)

• 오케스트레이션 컨트롤러: 자연어 상호작용과 검증된 실행을 중재합니다.
• 검증 프레임워크: 도메인 도구와 워크플로우를 타입이 지정된 스키마로 정의하고, 실행 전 의존성 그래프, 타입 호환성, 파라미터 유효성을 검증합니다.
• 실행 엔진 및 추적성: 검증된 워크플로우만 실행되며, 모든 실행 기록 (파라미터, 환경, 결과) 이 구조화된 형태로 추적됩니다.

4. 결과 (Results)

• 실증적 파레토 프론트: 기존 20 개 시스템의 분석 결과, 높은 유연성과 높은 결정론적 성질을 동시에 달성하는 시스템은 존재하지 않았습니다 (파레토 프론트 형성).
• 수렴 지점 (Convergence Zone): 생성형 시스템과 워크플로우 중심 시스템 사이의 중간 지점에 '스키마 게이트' 영역이 존재하며, OpenAI Assistants 나 Copilot Studio 와 같은 일부 시스템이 이 영역에 근접해 있음을 발견했습니다.
• 평가 방법론의 유효성: 3 가지 LLM 을 이용한 평가는 인간 전문가 패널과 유사한 높은 일관성 (Krippendorff's α = 0.80~0.98) 을 보여주어, 향후 아키텍처 평가 도구로 활용 가능함을 입증했습니다.

5. 의의 및 중요성 (Significance)

• 과학적 신뢰성 확보: LLM 이 과학적 발견 과정에 통합될 때 발생할 수 있는 '할루시네이션'이나 '비재현성' 문제를 구조적으로 해결하여, 산업계 R&D 에서 AI 에이전트의 실제 도입 장벽을 낮춥니다.
• 거버넌스 및 안전성: 임의의 코드 실행을 방지하고, 모든 실행이 검증된 스키마를 통해 이루어지므로, 데이터 유출, 프롬프트 인젝션, IP 보호 등 거버넌스 리스크를 줄입니다.
• 미래 지향적 아키텍처: 단순한 도구 호출을 넘어, 복잡한 다단계 과학 워크플로우를 자동화하면서도 그 신뢰성을 보장하는 새로운 표준 아키텍처를 제시합니다. 이는 자율 실험실 (Autonomous Laboratories) 로 가는 길목에서 필수적인 기술적 기반이 될 것입니다.

요약하자면, 이 논문은 **"대화는 자유롭게 하되, 실행은 스키마로 엄격하게 통제하라"**는 원칙을 통해 과학 연구의 재현성과 AI 의 유연성을 동시에 잡을 수 있는 실질적인 아키텍처 솔루션을 제시합니다.