HiLSVA: Design and Evaluation of a Human-in-the-Loop Agentic System for Scientific Visualization

기술 요약: HiLSVA

문제 정의

최근 대규모 언어 모델(LLM)의 발전은 자율 에이전트가 자연어 지시로부터 과학적 시각화(SciVis)를 생성할 수 있게 하였다. 그러나 기존의 에이전트 시스템(예: ChatVis, ParaView-MCP, NLI4VolVis)은 주로 완전한 자율성과 작업 완수에 치중되어 있다. 이러한 설계 방식은 인간 분석가를 소외시켜 투명성, 해석 가능성, 그리고 추론 과정을 감독할 수 있는 능력을 제한한다. 시각화는 본질적으로 추론과 의미 파악(sensemaking)을 목적으로 하는 인간 중심적인 활동이기에, 핵심적인 과제는 단순히 더 자율적인 에이전트를 구축하는 것이 아니라, 기계의 자율성과 인간의 분석적 제어 사이의 균형을 맞추는 것이다. 현재의 시스템들은 사용자가 작업을 위임, 조정, 검증하거나 실행 중에 유연하게 개입할 수 있는 메커니즘이 부족하여, 결과의 출처(provenance)를 불분명하게 만드는 "블랙박스" 워크플로우를 초래하곤 한다.

방법론

저자들은 시각화를 협업 과정으로 재정의하기 위해 설계된 프레임워크인 HiLSVA(Human-in-the-Loop Scientific Visualization Agentic System)를 제안한다. 이 시스템은 Magentic-UI 인프라를 기반으로 구축되었으며, 과학적 시각화를 위한 도메인 특화 기능을 확장하여 적용하였다.

1. 혼합 주도 에이전트 아키텍처 (Mixed-Initiative Agentic Architecture)

HiLSVA는 전문화된 하위 에이전트들을 조율하는 리드 오케스트레이터를 중심으로 한 계획 우선(plan-first), 다중 에이전트 아키텍처를 채택한다:

• 오케스트레이터(Orchestrator): 사용자의 의도를 해석하고, 명시적인 단계별 계획을 구축하며, 에이전트에게 작업을 할당하고 실행을 모니터링한다.
• 전문화된 에이전트:
  • 코드 에이전트(Code Agent): 검색 증강 생성(RAG)과 반복적인 오류 수정을 사용하여 SciVis 도구를 위한 Python 스크립트를 생성하고 정제한다(ChatVis에서 영감을 받음).
  • ParaView 에이전트: 모델 컨텍스트 프로토콜(MCP)을 통해 ParaView 시각화 엔진과 직접 상호작용하며, 저수준 스크립팅 대신 매개변수화된 함수 호출을 가능하게 한다.
  • 웹/파일 서퍼(Web/File Surfers): 외부 정보 검색 및 파일 조작을 처리한다.
  • 자기 개선 에이전트(Self-Improving Agent): 테스트 시 학습(test-time learning) 및 성찰(reflection)을 관리한다.
• 워크플로우: 시스템은 실행 전 편집 가능한 계획 산출물(artifact)을 생성한다. 사용자는 단계를 재정렬, 추가 또는 제거할 수 있어 계획 단계에서 정밀한 제어를 보장받는다. 실행은 사용자의 승인 후에만 진행된다.

2. 인간의 감독 및 안전한 실행

• 유연한 핸드오프(Fluid Handoff): 사용자는 자연어 또는 시각화 GUI(예: 전달 함수 조정)의 직접 조작을 통해 언제든 개입할 수 있다. 제어권은 에이전트에게 매끄럽게 반환될 수 있다.
• 액션 가드(Action Guards): 중요하거나 되돌릴 수 없는 작업(예: 생성된 코드 실행)은 명시적인 사용자 승인을 필요로 한다.
• 단계별 출처 추적(Stepwise Provenance Tracking): 시스템은 소프트웨어 상태와 시각화 출력을 포함하여 예상된(planned) 출처와 사후적(retrospective) 출처를 모두 기록한다. 이를 통해 사용자는 이전 단계로 되돌아가거나, 워크플로우를 분기하거나, 검증된 계획을 재사용할 수 있다.
• 샌드박스 실행: 모든 에이전트 작업은 격리된 Docker 컨테이너 내에서 수행되어 안전성, 재현성 및 세션 격리를 보장한다.

3. 인간 피드백을 통한 테스트 시 학습 (Learn-at-Test-Time, LTT)

HiLSVA는 모델 가중치를 업데이트하지 않고 추론 중에 시스템이 학습하는 검색 기반 적응 메커니즘을 구현한다:

• 지식 저장소(Knowledge Repository): BERT 임베딩으로 인덱싱된 벡터 기반 저장소에 이전 실행과 인간 피드백으로부터 얻은 통찰을 저장한다.
• 자기 성찰 및 질의(Self-Reflection & Querying): 각 단계 이후, 자기 개선 에이전트는 결과를 성찰한다. 신뢰도가 낮거나 모호함이 감지되면 사용자에게 선제적으로 질문한다.
• 적응(Adaptation): 사용자 피드백과 성찰 요약은 신뢰도 및 최신성 점수와 함께 새로운 지식 항목으로 저장되어, 동일하거나 유사한 작업의 향후 단계를 안내한다.

4. 인터랙티브 인터페이스

인터페이스는 세 가지 동기화된 구성 요소인 혼합 주도 채팅 위젯(계획 및 피드백용), 워크플로우 모니터 패널(단계 상태 및 출처 추적용), 그리고 실시간 시각화 엔진(ParaView) 및 웹 브라우저(직접 조작용)를 통합한다.

주요 기여

1. 인간 중심의 협업: HiLSVA는 미세한 수준의 공유 주도 메커니즘을 도입하여 사용자가 계획을 검토하고, 실행 중 개입하며, 해석에 대한 권한을 유지할 수 있도록 한다. 이는 실행 취소, 분기, 검증된 워크플로우의 재사용을 지원한다.
2. 도메인 적응형 통합: 느린 GUI 제어에 의존하는 범용 에이전트와 달리, HiLSVA는 MCP와 전문화된 에이전트(Code 및 ParaView 에이전트)를 활용하여 SciVis 엔진과 견고하고 매개변수화된 상호작용을 수행함으로써 효율적이고 재현 가능한 실행을 보장한다.
3. 포괄적인 평가: 시스템은 대표적인 사례 연구와 세 가지 자율성 설정(전체 자율, 반자율, LTT를 포함한 혼합 주도)에 걸쳐 다양한 전문성(초보자, 도메인 과학자, SciVis 전문가)을 가진 12명의 참가자를 대상으로 한 통제된 사용자 연구를 통해 평가된다.

결과

• 작업 성능: 12명의 참가자 전원이 난이도가 있는 SciVis 작업을 성공적으로 완료했다. 도메인 특화 해석 질문에 대한 평균 정확도는 12점 만점에 11.75점이었다. 데이터 환각(hallucination)은 관찰되지 않았다.
• 전문성 독립성: 작업 완료 시간과 정확도는 전문성 수준에 따라 유의미한 차이를 보이지 않았으며, 이는 HiLSVA가 초보자도 전문가에 필적하는 성능을 달성할 수 있게 함을 나타낸다.
• 자율성 트레이드오프: 실행 효율성과 인간의 감독 사이에 명확한 트레이드오프가 관찰되었다. 전체 자율 모드가 가장 빨랐으나(평균 ~9.8분), 혼합 주도 모드가 가장 느렸다(평균 ~13.5분). 실행 시간의 차이가 통계적으로 유의미하지는 않았으나(p=0.078), 이는 인간의 참여가 증가할수록 제어와 검증을 위해 상호작용 시간이 소요된다는 경향성을 시사한다.
• 사용자 선호도: 최종 작업에서 참가자들은 선호하는 자율 모드를 선택했다. 많은 이들이 시스템에 익숙해진 후에는 완전 자동화를 선택했지만, 상당수의 그룹은 인간의 통제권을 보존하는 모드를 선호하여, 단일한 상호작용 스타일이 보편적으로 최적은 아님을 보여주었다.

의의 및 주장

본 논문은 HiLSVA가 인간 참여형(human-in-the-loop) 에이전트 시스템으로서의 과학적 시각화의 생존 가능성을 입증한다고 주장한다. 사용자의 주체성, 적응성, 투명성을 전면에 내세움으로써, HiLSVA는 인간의 분석적 추론을 대체하기보다 **증강(augment)**하는 SciVis 에이전트 설계를 진전시킨다. 저자들은 연구 결과가 에이전트 기반 SciVis에서 인간 중심 설계의 중요성을 강조하며, 자동화가 과학적 발견 과정을 지원하되 가리지 않는 미래의 협업 시스템 개발을 위한 가이드라인을 제시한다고 주장한다. 이 시스템은 복잡한 과학적 워크플로우, 특히 다양한 전문성을 가진 사용자들을 위해 투명하고 협력적인 AI를 통합하는 데 실질적인 토대가 된다.