기술 요약: Eluna – 창고 운영 자동화를 위한 에이전틱(Agentic) LLM 시스템

문제 정의

현대적인 창고 운영은 복잡하고 다중 시스템적인 의사결정 로직을 인코딩하는 표준 운영 절차(SOP)에 의존합니다. 로봇 컨베이어 진단이나 재고 티켓 처리와 같은 이러한 워크플로우는 엄격한 절차적 제약, 정량적 임계값, 그리고 수십 개의 시스템을 가로지르는 다단계 추론을 요구합니다. 현재의 실행 방식은 종종 수동적이고 느리며 오류가 발생하기 쉬워, 처리량 저하를 초위합니다.

대규모 언어 모델(LLM)은 강력한 추론 능력을 보여주지만, 기존의 에이전틱 프레임워크(예: ReAct, Reflexion)는 SOP 준수 측면에서 어려움을 겪습니다. 이들은 결정론적인 절차적 제약을 강제하는 메커니즘이 부족한 느슨한 구조의 프롬프트에 의존하며, 이로 인해 유능한 모델조차 규정된 의사결정 경로에서 벗어나는 현상이 발생합니다. 주요 병목 구간은 **컨텍스트 과부하(Context Overload)**입니다. 전체 SOP 명세가 모델에 제시될 경우, 복잡한 워크플로우가 모델의 관련 액션 선택 능력을 압도하여 성능이 저하됩니다. 이러한 성능 정체 현상은 모델의 규모와 관계없이 지속되며, 도메인 특화 학습 없는 프롬프팅만으로는 불충분합니다.

방법론: Eluna 프레임워크

Eluna는 신뢰할 수 있는 SOP 실행을 보장하기 위해 설계된, 그래프 유도형(Graph-guided) 멀티 에이전트 시스템이자 프로덕션에 배포된 프레임워크입니다. Eluna는 세 가지 핵심 아키텍처 구성 요소를 통해 컨텍스트 과부하와 사용 사례의 범용성 문제를 해결합니다.

1. 그래프 유도형 SOP 표현 및 점진적 공개 (Progressive Disclosure)

SOP는 관찰(observations), 근본 원인(root causes), 계산(calculations), 제약 조건(constraints), 액션(actions)의 다섯 가지 노드 유형을 포함하는 **유향 비순환 그래프(DAG)**로 인코딩됩니다.

• 점진적 공개: 전체 그래프를 제시하는 대신, 시스템은 두 단계로 그래프를 공개합니다.
  1. 검색 도구가 트리거된 노드로부터 너비 우선 탐색(BFS)을 수행하여 도달 가능한 서브그래프(구조 및 간략한 설명)만을 반환합니다.
  2. 특정 노드를 평가하기 시작할 때만 해당 노드의 전체 절차적 명세(평가 로직, 도구 호출, 임계값)를 가져옵니다.
• 이러한 접근 방식은 작업 컨텍스트를 한 번에 하나의 노드로 제한하여, 에이전트가 불필요한 브랜치를 팽창시키거나 무관한 서브트리를 탐색하는 것을 방지합니다.

2. 계층적 멀티 에이전트 아키텍처

Eluna는 복잡성과 병렬성을 관리하기 위해 2단계 계층 구조를 채택합니다.

• 메인 에이전트 (오케스트레이터): 검색된 서브그래프를 보유하며, 엣지 의존성에 따라 다음 평가할 노드를 선택하고 위임 호출을 발행합니다. 또한 시퀀싱 및 제약 조건 확인를 위해 그래프 수준의 상태를 유지합니다.
• 병렬 서브 에이전트: 특정 노드를 병렬로 평가하도록 메인 에이전트로부터 위임받은 독립적인 서브 에이전트들입니다. 각 서브 에이전트는 할당된 노드의 명세, 역할 지침, 도구만을 포함하는 격리된 컨텍스트 내에서 작동합니다.
• 도구 생태계: 서브 에이전트는 데이터 조작을 위한 지속적인 코드 인터프리터(CodeAct 패러다임)와 실시간 데이터 접근을 위한 모델 컨텍스트 프로토콜(MCP)을 활용합니다. 서브 에이전트는 구조화된 결론만을 메인 에이전트에 반환하여 컨텍스트 팽창을 방지합니다.

3. 스킬 패키징 (Skill Packaging)

도구 공간의 충돌과 모든 사용 사례를 동시에 로드할 때 발생하는 컨텍스트 과부하를 피하기 위해, 각 워크플로우는 독립적인 **스킬(Skill)**로 패키징됩니다. 각 스킬은 의사결정 그래프, 특정 도구, 노드 명세, CodeAct 함수 및 실행 지침을 포함합니다. 스킬은 런타임에 온디맨드 방식으로 로드되므로, 동일한 에이전트 엔진이 다양한 운영 사례를 처리할 수 있습니다.

4. 학습 전략: 비대칭 에피소딕 증류 (Asymmetric Episodic Distillation)

프롬프팅만으로는 불충분이기에, Eluna는 궤적 중심(Trajectory-centric)의 학습 파이프라인을 활용합니다.

• 교사 궤적 개선: 강력한 교사 모델이 프레임워크 내에서 궤적을 생성합니다. **에피소딕 학습(Episodic Learning)**은 모델 가중치를 업데이트하지 않고 메모리와 성찰(Reflection)을 사용하여 교사의 오류를 반복적으로 수정합니다.
• 비대칭 증류: 더 작고 지연 시간이 낮은 학생 모델이 수정된 궤적을 바탕으로 미세 조정(Fine-tuning)됩니다. 결정적으로, 학생 모델의 학습 및 추론 시에는 에피소딕 메모리가 **제거(Stripped)**됩니다. 학생 모델은 메모리에 의존하는 대신, 수정 사항을 자신의 가중치 내로 내재화해야 합니다. 이는 추론 시의 메모리 의존성과 오버헤드를 제거합니다.
• 데이터 처리: 궤적은 턴 단위로 분해되며, 미세 조정을 수행하기 전 LLM 판별기를 통한 거절 샘플링(Rejection Sampling)을 통해 정확성을 필터링합니다.

주요 기여

본 논문은 세 가지 주요 기여를 설명합니다.

1. 그래프 유도형 스킬 기반 프레임워크: SOP를 DAG로 인코딩하고, 점진적 공개와 병렬 서브 에이전트 위임을 통한 계층적 멀티 에이전트 실행을 사용하여 확장 가능하고 절차적으로 준수하는 추론을 달성합니다.
2. 비대칭 에피소딕 증류 파이프라인: 에피소딕 학습이 교사의 궤적을 개선하고, 학생 모델이 메모리가 제거된 수정 궤적을 통해 런타임 메모리 오버헤드 없이 절차적 로직을 내재화하도록 하는 학습 방법론을 제시합니다.
3. 실제 성능: 미세 조정된 32B 모델이 더 큰 오프더쉘프(OTS) 베이스라인 모델보다 우수한 성능을 보이며, 운영 벤치마크 및 프로덕션 애플리케이션에서 훨씬 더 큰 교사 모델과 대등한 성능을 보임을 입증했습니다.

실험 결과

운영 추론 벤치마크

인과 체인 분석, 메트릭 트렌드 탐지, 교차 시스템 지식 합성 등의 역량을 다루는 13개 태스크 벤치마크에서 평가되었습니다.

• Eluna-G (GLM-4.5-Air 미세 조정)와 Eluna-Q (Qwen3-32B 미세 조정)는 각각 GLM-4.5-Air 베이스라인 대비 평균 성능을 +6.5% 및 +6.0% 향상시켰습니다.
• OTS Qwen3-32B는 베이스라인보다 38.0% 낮은 성능을 보였으며, 이는 도메인 특화 학습의 필요성을 강조합니다.
• Eluna-Q는 교사 모델(GLM-4.7)과 다른, 더 작은 아키텍처임에도 불구하고 교사 모델의 성능을 따라잡아, 모델 패밀리 간의 운영 추론 전이 효과를 입증했습니다.

프로덕션 애플리케이션

1. 로보틱 컨베이어 (지연 시간 민감형):

   • 시스템은 프로덕션에서 약 8,000개의 트리거를 처리했습니다.
   • 미세 조정된 모델은 베이스라인 대비 관찰 이진 정확도(Observation binary correctness)를 >49%, 근본 원인 정확도를 >73% 개선했습니다.
   • 액션에 대한 완전 일치율(Exact match rate)은 +165% 향상되었습니다.
   • 중앙값 실행 지연 시간(Median execution latency)은 대규모 교사 모델 대비 ~54% 감소하여 실시간 진단 SLA를 충족했습니다.
   • 전문가 검토 결과, SOP 준수율은 거의 완벽했으며, 발생한 오류는 에이전트의 추론이 아닌 SOP 명세의 공백에서 기인한 것으로 나타났습니다.

2. 티켓 처리 (복잡한 추론):

   • 46개 노드로 구성된 재고 통합 SOP에 적용되었습니다.
   • 미세 조정된 355B 모델(Eluna-G-XL)은 전문가 주석 대비 **94.4%**의 추정 정확도를 달 기록했습니다.
   • 시스템은 기존에 수동 처리에 약 6분이 소요되던 디지털 분류 작업을 자동화했으며, 중앙값 생성 시간은 187초였습니다.

어블레이션 연구 (Ablation Studies)

실험을 통해 비대칭 증류가 결정적임을 확인했습니다. 에피소딕 학습(EL)을 교사에게만 적용했을 때는 상당한 이득(+16.2% ~ +28.6%)이 있었으나, 학생 모델을 EL로 학습시킨 후 추론 시 이를 제거하자 성능이 급격히 하락(-52.7%)했습니다. 이는 에피소딕 지식이 런타임의 취약한 의존성이 아니라 가중치 내부로 반드시 내재화되어야 함을 증명합니다.

의의 및 주장

본 논문은 프로덕션 환경에서 에이전틱 시스템을 배포하기 위한 두 가지 일반화된 교훈을 제시합니다.

1. 준수성을 위해서는 규모보다 증류가 중요하다: 그래프 유도형 프레임워크 내에서, 미세 조정된 32B 모델은 훨씬 더 큰 교사 모델과 대등할 수 있으며 모든 테스트된 OTS 모델을 능가할 수 있습니다. OTS 모델의 성능은 규모와 관계없이 정체되는 반면, 구조화된 궤적에 대한 학습은 우수한 결과를 낳습니다.
2. 지연 시간 제약이 아키텍처를 결정한다: 프로덕션 SLA 하에서의 저지연 추론 요구사항은 비대칭 증류 설계를 필요로 했습니다. 추론 시 에피소딕 메모리에 의존하는 것은 순수한 정확도 향상이 아니라 취약한 의존성을 만드는 것이었습니다.

저자들은 시스템의 잔여 오류가 SOP 명세의 공백과 상류 데이터 품질에서 기인한다고 언급하며, 신뢰할 수 있는 운영 자동화를 위한 다음 병목 구간은 SOP 저작 및 데이터 무결성 파이프라인이라고 식별했습니다. 시스템은 현재 두 개의 운영 도메인에 배포되어 있으며, 상당히 다른 환경으로의 전이는 추가적인 실증적 검증이 남아 있습니다.