From Prompt to Service: An SLM-Based Agent Orchestration Gateway for AI-Driven Virtual Worlds

기술 요약: AI 기반 가상 세계를 위한 SLM 기반 에이전트 오케스트레이션 게이트웨이

문제 정의
생성형 AI의 역량이 확장됨에 따라, AI 기반 가상 세계는 중요한 아키텍처적 과제에 직면해 있습니다. 사용자는 멀티모달 인터페이스를 통해 상호작용하지만, 이들의 요청은 근본적으로 다른 백엔드 모델과 계산 자원(예: 대화형 다이얼로그, 번역, 도메인 특화 검색 또는 3D 에셋 생성)을 요구합니다. 이러한 다양한 역량을 가상 세계 클라이언트에 직접 내장하는 것은 확장성을 저해하고, 유지보수를 복잡하게 만들며, 에지(edge)와 클라우드 인프라에 분산된 서비스 간의 조율 능력을 제한합니다. 기존 방식은 클라이언트를 특정 엔드포인트, 페이로드 형식 또는 배포 위치에 밀접하게 결합하지 않고도 사용자의 의도를 해석하여 이질적인 AI 서비스로 요청을 라우팅할 수 있는 런타임 조정 계층이 부족한 경우가 많습니다.

방법론
저자들은 가상 세계 클라이언트를 이질적인 AI 백엔드로부터 분리하기 위해 설계된 경량 런타임 조정 메커니즘인 SLM 기반 에이전트 오케스트레이션 게이트웨이를 제안하고 평가합니다. 시스템은 다음과 같이 작동합니다:

1. 아키텍처: 게이트웨이는 NVIDIA Jetson Orin NX 8GB 에지 디바이스에서 실행되는 Python 기반 FastAPI 서비스로 구현됩니다. 이는 가상 세계 클라이언트에 단일 REST 엔드포인트를 노출합니다.
2. 의도 라우팅(Intent Routing): 사용자 프롬프트를 수신하면, 게이트웨이는 소형 언어 모델(SLM)로 구동되는 **의도 라우터(Intent Router)**로 이를 전달합니다. 라우터는 의미론적 의도를 분류하고 구조화된 JSON 결정값(선택된 경로, 의도 레이블, 신뢰도 점수 및 정규화된 쿼리)을 반환합니다.
3. 서비스 레지스트리 및 검증: 구성 가능한 레지스트리는 사용 가능한 서비스 목록(예: RAG, 미세 조정된 LLM, 텍스트-to-3D)을 유지합니다. 게이트웨이는 적절한 백엔드를 호출하기 전에 레지스트리를 기준으로 라우터의 결정을 검증합니다.
4. 평가 설정: 시스템은 InterwovenXR 가상 박물관 테스트베드 내에서 Panagia Aggeloktisti 성당 시나리오를 중심으로 테스트되었습니다. 평가는 두 가지 연구 질문(RQ)을 다룹니다:
   • RQ1: 컴팩트한 SLM이 에지 하드웨어에서 신뢰할 수 있는 의도 라우터 역할을 할 수 있는가?
   • RQ2: 의도 인식과 응답 생성을 분리하는 계층적 구성이 단일 모델 설정보다 실질적인 이점을 제공하는가?
5. 실험 설계:
   • 단계 1: 5개의 서비스 경로(대화형, 언어 적응, 도메인 전문가, 지식 검색, 에셋 생성)에 대해 500개의 프롬프트 데이터셋을 사용하여 라우팅 정확도, 잘못된 출력률 및 지연 시간을 평가했습니다. 다양한 SLM(Qwen2.5 및 SmolLM2 제품군 포함)을 테스트했으며, 10억 파라미터 미만의 모델은 4-bit QLoRA를 통한 태스크 특화 미세 조정(fine-tuning)을 거쳤습니다.
   • 단계 2: 미세 조정된 서브 빌리언 모델이 라우팅을 담당하고, 더 큰 컴팩트 SLM이 로컬에서 대화형 응답 생성을 담당하는 계층적 구성의 엔드 투 엔드(end-to-end) 지연 시간을 평가했습니다.

주요 결과

• 라우팅 정확도: 기본 서브 빌리언 모델(예: Qwen2.5-0.5B, SmolLM2-360M)은 적응 없이는 성능이 저조했습니다(16–24% 정확도). 그러나 태스크 특화 미세 조정은 성능을 크게 향상시켰습니다. 미세 조정된 Qwen2.5-0.5B-FT는 평균 지연 시간 392.0ms와 함께 83.00%의 라우팅 정확도를 달와 성, 이는 낮은 지연 시간을 유지하면서 기본 모델에 비해 상당한 개선을 보여주었습니다.
• 잘못된 출력: 미세 조정은 잘못된 JSON 출력률도 감소시켰으나, SmolLM2-360M-FT는 Qwen2.5-0.5B-FT(3.20%)에 비해 여전히 높은 비율(22.60%)을 보였습니다.
• 계층적 구성: 계층적 접근 방식(미세 조정된 라우터 + 더 큰 대화형 모델)은 중간 사양의 에지 하드웨어에서 실행 가능함이 입증되었습니다. 테스트된 4가지 조합 모두 엔드 투 엔드 평균 지연 시간이 1.6초 미만(중앙값 < 1.5초)을 기록하여, 상호작용을 위한 2초 임계값을 충족했습니다.
• 효율성: 계층적 구성이 라우팅과 생성 모두를 위해 단일 대형 모델을 사용하는 것보다 더 빠르다는 것이 확인되었습니다. 예를 들어, SmolLM2-360M-FT + Qwen2.5-1.5B 조합은 평균 지연 시간 1306.06ms를 달성하여, 결정 단계를 분리하는 것이 응답 품질을 저하시키지 않으면서도 대화형 작업에 대한 계산 비용을 줄일 수 있음을 보여주었습니다.

의의 및 기여
본 논문은 세 가지 주요 기여를 주장합니다:

1. 아키텍처 패턴: 분리되고 의도 중심적인 서비스 라우팅 아키텍처를 도입하여, 가상 에이전트가 분산된 생성형 AI 서비스에 대한 통합된 액세스 포인트 역할을 할 수 있게 하며, 클라이언트 측 수정 없이도 확장성을 가능하게 합니다.
2. 미세 조정된 SLM의 생존 가능성: 컴팩트한 10억 파라미터 미만의 모델이 특정 라우팅 작업을 위해 미세 조정될 때, 일반적인 지시 이행 능력의 한계를 극복하고 에지 하드웨어에서 신뢰할 수 있는 저지연 의도 라우터 역할을 할 수 있음을 입증합니다.
3. 계층적 오케스트레이션 전략: 매우 작은 모델을 빠른 의도 인식에 사용하고 더 큰 컴팩트 모델을 응답 생성에 사용하는 계층적 구성이, 두 작업을 하나의 모델에 위임하는 것보다 에지 지원 가상 세계에서 더 효율적이고 실용적이라는 경험적 증거를 제공합니다.

한계 및 향후 과제
저자들은 평가가 통제된 데이터셋과 단일 가상 박물관 시나리오 내에서 수행되었음을 언급하며, 이는 다른 도메인으로의 일반화에 한계가 있음을 밝힙니다. 본 연구는 라우팅 정확도와 지연 시간을 측정했으나, 사용자 연구를 통한 생성된 응답의 지각적 품질은 평가하지 않았습니다. 또한, 미세 조정된 모델은 정의된 라우팅 스키마에 특화되어 있어, 서비스 정의가 변경될 경우 재학습이 필요합니다. 향후 연구에서는 5억 파라미터 미만의 더 작은 아키텍처를 평가하고, 멀티 턴 대화 및 모호한 프롬프트를 포함하도록 데이터셋을 확장하며, 몰입감과 참여도를 측정하기 위한 완전한 인터랙티브 사용자 연구를 수행하는 것을 목표로 합니다.