SciFi: A Safe, Lightweight, User-Friendly, and Fully Autonomous Agentic AI Workflow for Scientific Applications

이 논문은 명확한 정의된 과학적 작업을 위해 격리된 실행 환경, 3 층 에이전트 루프, 자기 평가 기반의 반복 메커니즘을 결합하여 안전하고 경량화된 완전 자율적 에이전트 워크플로우 'SciFi'를 제안합니다.

핵심

🚀 SciFi: 과학자를 위한 '자동 운전' AI 조수

이 논문은 과학 연구라는 거대한 항해에서, SciFi라는 새로운 '자동 운전 시스템'을 소개합니다. 기존 AI 는 질문에 답만 해주는 '수동적인 비서'였다면, SciFi 는 스스로 계획을 세우고, 실수를 고치고, 목표를 달성할 때까지 끝까지 해내는 **'자율적인 선장'**과 같습니다.

이 시스템을 이해하기 쉽게 일상적인 비유로 설명해 드리겠습니다.

---

1. SciFi 가 뭘까요? (핵심 개념)

상상해 보세요. 과학 실험실에는 복잡한 기계들이 있고, 연구자들은 매일 같은 반복 작업을 합니다.

• "이 데이터를 그래프로 그려줘."
• "이 코드가 왜 에러가 나지? 고쳐줘."
• "이 실험 결과를 논문처럼 정리해줘."

기존 AI 는 연구자가 "이렇게 해줘, 저렇게 해줘"라고 하나하나 지시해야 했습니다. 하지만 SciFi는 연구자가 **"이 실험을 성공적으로 끝내줘"**라고 한 마디만 하면, 그 뒤의 모든 과정을 스스로 처리합니다.

• 안전한 실험실 (Isolated Environment): SciFi 는 마치 '독립된 유리 상자' 안에서 작동합니다. 실수로 중요한 데이터를 지우거나, 다른 컴퓨터를 망가뜨릴까 봐 걱정할 필요가 없습니다. 상자 안에서만 모든 일이 일어나기 때문입니다.
• 스스로 점검하는 루프 (Do-Until Mechanism): SciFi 는 일을 하고 나면 스스로 "내가 잘했나?"라고 묻습니다. 만약 틀렸다면, **"아, 여기가 잘못됐구나. 다시 해보자"**라고 생각하며 다시 시도합니다. 목표 (예: 그래프가 완성될 때까지) 를 달성할 때까지 이 과정을 반복합니다.
• 유연한 두뇌 (LLM Gateway): SciFi 는 한 가지 두뇌만 쓰는 게 아닙니다. 간단한 일은 가벼운 AI 가, 복잡한 일은 똑똑한 AI 가 맡도록 스마트하게 배분합니다. 비용도 아끼고 효율도 높입니다.

---

2. SciFi 는 어떻게 일할까요? (작동 원리)

SciFi 는 과학자의 일을 **'SAM(자기 평가 모듈)'**이라는 작은 패키지 단위로 나눕니다.

1. 미션 부여 (Context & Todo): 연구자가 "ROOT 라는 프로그램을 써서 이 데이터를 분석해"라고 말합니다.
2. 계획 수립 (Pre-scan): SciFi 는 "아, 환경부터 세팅하고, 코드를 짜고, 실행해야겠다"라고 계획을 세웁니다.
3. 작업 수행 (Work): 실제로 코드를 작성하고 실행합니다.
4. 검증 (Review): "결과물이 나왔나? 조건에 맞나?"를 스스로 확인합니다.
   • 실패 시: "오류가 났네. 로그를 보고 고쳐보자."라고 다시 2 단계로 돌아갑니다.
   • 성공 시: "완료! 결과를 저장하자."라고 멈춥니다.

이 과정이 자동으로 반복되므로, 연구자는 커피를 마시며 기다리기만 하면 됩니다.

---

3. SciFi 로 무엇을 할 수 있을까요? (실제 사례)

논문에서는 SciFi 가 실제로 어떤 일을 해냈는지 4 가지 실험을 보여줍니다.

🧪 실험 1: 일상적인 과학 작업 (가볍게)

• 상황: "데이터를 그래프로 그려줘" 같은 단순한 작업.
• 결과: 연구자가 "그래프 그려줘"라고만 말해도 (자연어), SciFi 는 스스로 필요한 프로그램을 찾고, 코드를 짜서 완벽하게 결과를 냈습니다. 너무 자세한 지시 없이도 잘 해냈습니다.

📄 실험 2: 논문 결과 재현 (중간 난이도)

• 상황: 다른 과학자가 발표한 논문의 실험 결과를 똑같이 따라 해보는 작업.
• 결과: SciFi 는 69 번의 시도 끝에, 환경 설정 오류나 데이터 다운로드 실패 같은 문제를 스스로 해결하며 15 분 만에 논문의 결과를 완벽하게 재현했습니다. 인간이 몇 시간 걸릴 일을 단숨에 해결한 셈입니다.

⚙️ 실험 3: 펌웨어 (하드웨어 제어) 설계 (어려움)

• 상황: 과학 장비의 두뇌인 '펌웨어'를 처음부터 설계하거나, 버그를 찾아 고치는 작업.
• 결과:
  • 버그 찾기: 사람이 놓친 작은 실수 (숫자 하나 차이) 를 찾아내어 고쳤습니다.
  • 새로 만들기: "이런 기능을 해줘"라는 설명만 듣고, 복잡한 하드웨어 코드를 처음부터 작성했습니다.
  • 교훈: 아주 복잡한 일일수록, 연구자가 조금 더 구체적인 지시 (전문가의 조언) 를 주면 SciFi 가 훨씬 빠르고 정확하게 일했습니다.

🔍 실험 4: 미지의 발견 (창의성 테스트)

• 상황: LHC(대형 강입자 충돌기) 데이터에서 '이상한 신호 (새로운 물리 현상)'를 찾는 미스터리 해결.
• 결과:
  • 혼자 할 때: SciFi 는 여러 방법을 시도했지만, 정답을 찾지 못해 실패했습니다. (너무 막막한 문제라 AI 만으로는 한계가 있었습니다.)
  • 사람과 함께 할 때: 연구자가 "이런 방법을 써봐"라고 힌트를 주자, SciFi 는 그 방법을 활용해 성공적인 결과를 도출했습니다.
  • 교훈: 완전히 새로운 것을 발견하는 '창의적'인 단계에서는 인간의 통찰력이 여전히 필요합니다. SciFi 는 그 통찰력을 실행하는 최고의 도구가 될 수 있습니다.

---

4. 결론: 과학의 미래는 어떻게 변할까?

이 논문이 말하고자 하는 핵심은 다음과 같습니다:

"AI 가 반복적이고 지루한 과학 작업을 대신해 주면, 인간 과학자는 더 창의적이고 흥미로운 일에 집중할 수 있다."

• SciFi 는 '안전한 자동 운전 모드'입니다. 실수할까 봐 걱정하지 않아도 됩니다.
• SciFi 는 '만능 도우미'입니다. 코딩, 데이터 분석, 하드웨어 설계까지 다양한 일을 해냅니다.
• SciFi 는 '인간과 협력'합니다. AI 가 모든 것을 다 할 수는 없지만, 인간이 방향을 잡아주면 그 누구보다 빠르고 정확하게 실행합니다.

결국, SciFi 는 과학 연구의 속도를 높이고, 연구자들이 **"왜?"**와 **"어떻게?"**에 더 많은 에너지를 쏟을 수 있게 해주는 새로운 시대의 시작을 알리는 신호탄입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

최근 에이전트 AI (Agentic AI) 의 발전으로 자율적 워크플로우가 가능해졌으나, 실제 과학 연구 환경에 안정적으로 배포하는 데에는 여전히 큰 장벽이 존재합니다.

• 현황: 기존 에이전트 시스템은 연구용 프로토타입에 머무르거나, 일반 목적의 복잡한 아키텍처를 가져 과학적 맥락에서 필요한 '신뢰할 수 있는 무인 실행 (reliable unattended execution)'을 충족하지 못합니다.
• 과학적 작업의 특성: 많은 과학 작업은 목표가 불분명해서가 아니라, 실행 과정이高度하게 맞춤화되어 있어 시간이 많이 소요됩니다. (예: 데이터 시각화, 펌웨어 디버깅, 실험 장비 제어 등)
• 핵심 문제: 이러한 작업들은 명확한 목표와 검증 가능한 종료 조건을 가지지만 (Closed-loop tasks), 기존 에이전트들은 일회성 생성에 의존하거나 인간의 빈번한 개입이 필요하여 실제 연구 인프라로서의 가치가 제한적입니다.

2. 제안 방법론: SciFi 프레임워크 (Methodology)

저자들은 과학적 작업을 위해 설계된 SciFi라는 안전하고 경량이며 사용자 친화적인 에이전트 프레임워크를 제안합니다. 이는 세 가지 핵심 원칙 (안전성, 사용성, 확장성) 에 기반합니다.

가. 안전성 및 리소스 격리 (Safety & Isolation)

• 격리된 실행 환경: 전체 워크플로우 (에이전트 및 도구) 는 Apptainer(컨테이너 런타임) 내부에서 실행됩니다.
• 자원 제어: GPU 사용, 네트워크 접근, 읽기 전용 데이터 마운트 등은 명시적인 규칙에 의해 제어되며, 기본값은 '거부 (default-deny)' 원칙을 따릅니다.
• 효과: 공유 인프라에 대한 의도치 않은 부작용을 방지하고 재현성을 보장합니다.

나. 3 계층 에이전트 루프 및 'Do-Until' 메커니즘 (Usability)

• SAM (Self-Assessed Module): 작업은 Context(맥락), To-do(수행 사항), Expectation(기대 결과) 으로 정의됩니다. 기대 결과는 에이전트가 임의로 변경할 수 없도록 고정되어 있습니다.
• 3 계층 루프 구조:
  1. Pre-scan: 작업 정의 분석, 하위 작업 분해, 모델 선정.
  2. Work: 실제 작업 수행 (도구 사용).
  3. Review: 기대 결과 검증 및 피드백.
• Do-Until: 작업이 명시된 기대 조건을 만족할 때까지 위 루프가 반복됩니다. 실패 시 히스토리 (Memory/History) 를 참조하여 다음 반복에서 수정합니다.

다. 확장성 및 LLM 네이티브 설계 (Extensibility)

• 모델 중립성: 다양한 LLM(오픈 웨이트 및 상용 모델) 을 지원하며, LLM Gateway를 통해 모델 간 로드 밸런싱과 비용 최적화가 가능합니다.
• 역할 분리:
  • Control Agent: 추론 능력이 필요한 Pre-scan 및 Review 역할 (고성능 모델 사용).
  • Work Agent: 도구 호출 및 실행 역할 (비용 효율적인 모델 사용).
• 지식 축적: Skill Library를 통해 성공적인 해결 경로를 재사용 가능한 단위로 저장하고, 시스템이 스스로 진화 (Self-evolution) 할 수 있도록 합니다.

3. 주요 기여 (Key Contributions)

1. 안전한 무인 과학 워크플로우 프레임워크: 컨테이너 격리와 엄격한 검증 메커니즘을 통해 과학 연구 환경에서 안전한 자율 실행을 가능하게 함.
2. 구조화된 작업 정의 (SAM) 와 검증 루프: 명확한 종료 조건을 가진 과학적 작업을 위해 설계된 'Do-Until' 루프를 통해 인간의 개입을 최소화하면서도 신뢰성을 확보함.
3. 다양한 모델 및 작업 유형에 대한 검증: 오픈 소스 모델 (Gemma4) 부터 상용 모델까지, 그리고 단순 데이터 분석부터 복잡한 펌웨어 설계 및 하드웨어 통합까지 다양한 시나리오에서 성능을 입증함.

4. 실험 결과 (Results)

논문은 고에너지 물리학 (HEP) 분야의 4 가지 실험을 통해 시스템을 검증했습니다.

• 실험 1: 기본 과학 작업 (파일 I/O, 데이터 분석, 플롯팅 등)
  • 단순한 자연어 (NL) 입력만으로도 대부분의 기본 작업을 성공적으로 수행.
  • 복잡한 작업일수록 구조화된 (ST) 또는 전문가 수준의 (EX) 설명이 효율성을 높임.
• 실험 2: 논문 결과의 종단간 재현 (Closed-Loop)
  • 생성형 ML 을 이용한 열량계 시뮬레이션 (Calo-VQ) 재현 작업.
  • 69 번의 반복 (약 15 분) 만에 환경 설정, 코드 실행, 결과 도출을 성공적으로 완료. 환경 오류를 스스로 디버깅하고 해결함.
• 실험 3: 반-폐쇄형 작업 (펌웨어 설계 및 통합)
  • Task 1 (디버깅): 주어진 RTL 코드 내의 버그 (Schematic/Runtime) 를 30 회 이내 반복으로 자동 발견 및 수정.
  • Task 2 (부분 완성): 스켈레톤 코드를 기반으로 RTL 완성. 자연어 설명으로도 성공.
  • Task 3 (처음부터 작성): 인터페이스 명세만 주어지고 코드가 비어있는 상태. 전문가 수준의 상세 설명 (EX) 이 있을 때 가장 효율적 (88 회 반복) 이었으나, 단순 힌트 (RH) 만으로도 메모리 공유를 통해 7 번의 시도 끝에 성공.
• 실험 4: 개방형 작업 (LHC 올림픽 2020 이상 탐지)
  • 개방형 (Open-ended): 목표만 제시 시 실패 (AUC 0.5 수준).
  • 상호작용형 (Interactive): 인간의 가이드가 포함된 경우 AUC 0.83 달성.
  • 가이드형 (Guided): 구체적인 방법론 (CWoLa+VAE) 을 제시한 경우, 25 회 반복 (약 15 분) 만에 AUC 0.854 달성.
  • 결론: 완전히 개방된 창의적 탐구에는 인간 전문가의 개입이 여전히 필수적이지만, 방향성이 주어지면 에이전트가 매우 효율적으로 해결함.

5. 의의 및 결론 (Significance)

• 과학 연구의 패러다임 전환: 반복적이고 기술적인 실행 작업을 에이전트에 위임함으로써, 연구자들은 창의적인 활동과 개방형 과학 탐구에 더 많은 에너지를 쏟을 수 있게 됩니다.
• 안전한 자율성의 실현: "안전 (Safety)"을 최우선으로 설계하여, 실제 과학 인프라에 에이전트 AI 를 도입할 수 있는 토대를 마련했습니다.
• 미래 전망: 현재는 명확한 종료 조건이 있는 폐쇄형 (Closed-loop) 작업에 최적화되어 있으나, LLM 의 추론 능력 향상과 인간 - 에이전트 협업 (Human-in-the-loop) 전략을 통해 점차 개방형 (Open-ended) 과학 문제 해결로 확장될 수 있는 가능성을 제시합니다.

이 연구는 과학적 발견을 가속화하기 위한 안전하고 검증 가능한 에이전트 AI 시스템의 실용적인 청사진을 제시한다는 점에서 의의가 큽니다.