기술 요약: 제약 조건 준수형 다중 에이전트 최적화를 위한 오케스트레이터로서의 LLM

문제 정의

이커머스 추천 시스템은 여러 상충하는 목표(정확도, 다양성, 참신성, 공정성)를 동시에 최적화하는 동시에 엄격한 비즈니스 제약 조건을 반드시 준수해야 한다는 중대한 과제에 직면해 있습니다. 프로덕션 환경에서 판매자 커버리지, 카테고리 공정성, 신규 아이템 노출과 같은 제약 조건은 타협 불가능한 요소입니다. 이를 단 한 번이라도 위반하는 것은 용납되지 않습니다.

기존 연구들은 이러한 제약 조건을 주로 소프트 페널티나 정규화 항으로 취급하거나, 대규모 언어 모델(LLM)을 통한 아이템 스코어링 및 상호작용에 집중해 왔습니다. 이러한 접근 방식은 배포 시 지속적인 제약 조건 위반을 초래하거나, 실행 불가능한 솔루션이 지배하는 파레토 프런트(Pareto fronts)를 생성하는 경우가 많습니다. 다목적 진화 알고리즘이 존재하기는 하지만, 솔루션의 품질과 엄격한 실행 가능성 사이의 균형을 맞추는 데 어려움을 겪습니다. 또한, 기존의 LLM 기반 추천 시스템은 주로 콘텐츠 이해나 사용자 상호작용 수준에서 작동하며, 제약이 있는 탐색을 위한 고수준 최적화 코디네이터로서의 LLM 잠재력은 아직 충분히 탐구되지 않았습니다.

방법론: DualAgent-Rec

저자들은 LLM을 사용하여 이중 에이전트 진화 최적화 과정을 조율하는 프레임워크인 DualAgent-Rec을 제안합니다. 이 시스템은 정확도와 다양성 사이의 트레이드오프를 최적화하는 동시에 100%의 제약 조건 만족을 보장하도록 설계되었습니다.

1. 문제 정식화

추천 작업은 제약이 있는 다목적 최적화 문제로 정식화됩니다:

• 목표: 관련성($f_1$), 다양성($f_2$, 리스트 내 거리 기반), 참신성($f_3$, 역 인기도 기반) 극대화.
• 하드 제약 조건:
  • 카테기 공정성: 카테고리 분포의 지니 계수 $\le \theta_{fair}$.
  • 판매자 커버리지: 서로 다른 판매자 수 $\ge \theta_{seller} \cdot k$.
  • 신규 아이템 노출: 최근 30일 이내에 추가된 아이템 수 $\ge \theta_{new} \cdot k$.

2. 이중 에이전트 아키텍처

이 프레임워크는 탐색 공간을 병렬적으로 모집단을 진화시키는 두 개의 특화된 에이전트로 분해합니다:

• 착취 에이전트 (Exploitation Agent): 실행 가능한 영역 내에서 고품질 솔루션을 정교화하는 데 집중합니다. 이는 선택을 위해 **제약 지배 원칙(Constraint Domination Principle, CDP)**을 채택하여, 실행 가능한 솔루션을 실행 불가능한 솔루션보다 엄격하게 우선시하며, 제약 위반 크기를 타이 브레이커(tie-breaker)로 사용합니다. 또한 수렴을 가속화하기 위해 DE/pbest/1 변형을 사용합니다.
• 탐사 에이전트 (Exploration Agent): 별도의 모집단을 유지하며 두 배의 변이율(mutation rate)을 가지고 무제약 파레토 탐색을 수행합니다. 이 에이전트는 선택 과정에서 제약 조건을 무시하여 목적 함수 공간의 미개척 영역을 가로지르며, 최적의 실행 가능 영역에 조기 수렴하는 것을 방지하는 다양성 저장소 역할을 합니다.
• 양방향 지식 전달: 엘리트 솔루션은 크라우딩 거리(crowding distance)를 기준으로 에이전트 간에 교환되며, 이를 통해 착취 에이전트는 새로운 발견으로부터 이득을 얻고, 탐사 에이전트는 고품질의 실행 가능한 솔루션으로부터 가이드를 받습니다.

3. LLM 기반 코디네이션

핵집적인 혁신은 LLM을 동적인 자원 할당기로 사용하는 것입니다. 고정된 휴리스틱 대신, LLM 코디네이터는 다음을 수행합니다:

• 관찰 (Observe): 최적화 메트릭(하이퍼볼륨, 개선율), 제약 통계(실행 가능 비율, 위반 크기), 사용자 컨텍text의 구조화된 요약본을 관찰합니다.
• 결정 (Decide): 착취 에이전트와 탐사 에이전트의 모집단 크기를 결정하는 할당 비율 $\alpha \in [0, 1]$를 출력합니다 ($|P_{exploit}| = \alpha N$).
• 적응 (Adapt): 실행 가능성이 안정적이고 진행 속도가 느려지면 $\alpha$를 높이고(착취 선호), 제약 위반이 지속되거나 하이퍼볼륨이 정체되면 $\alpha$를 낮춥니다(탐사 선호). 이는 수동으로 만들어진 스케줄링 규칙 없이 해석 가능하고 문맥 인식적인 조율을 제공합니다.

4. 적응형 제약 조건 처리

초기 탐사와 최종적인 엄격한 실행 가능성을 조화시키기 위해, 시스템은 자기 교정형 $\epsilon$-완화 전략을 사용합니다:

• 제약 조건은 초기 위반의 80 백분위수를 기준으로 초기 완화($\epsilon_0$)되어, 약 20%의 초기 솔루션이 실행 가능한 것으로 처리되도록 허용합니다.
• 완화 파라미터 $\epsilon_t$는 세대(generation)가 거듭됨에 따라 부드럽게 감소하며($\epsilon_t = \epsilon_0 \cdot \gamma^{t/T_{max}}$), 수렴 시점에 정확한 실행 가능성이 강제될 때까지 점진적으로 제약 조건을 강화합니다.

주요 기여

1. 이중 에이전트 아키텍처: 탐사와 착취를 전문화된 에이전트로 분리하여, 경쟁하는 목표 하에서 파레토 프런트 커버리지와 최적화 효율성을 개선하는 새로운 구조를 제시합니다.
2. LLM 오케스트레이션: 고정된 규칙 기반 스케줄링을 대체하여, 최적화 역학 및 제약 조건 만족도를 바탕으로 자원 할당을 적응적으로 관리하는 고수준 코디네이터로서 LLM을 도입했습니다.
3. 적응형 제약 전략: 초기 탐사 효율성을 보존하면서 최종 솔루션의 하드 제약 조건 준수를 보장하는 자기 교정형 $\epsilon$-완화 메커니즘을 제공합니다.
4. 실증적 검증: 프레임워크가 100% 제약 조건 만족을 달면서도 파레토 하이퍼볼륨 및 수렴 속도 측면에서 강력한 베이스라인 모델들을 능가함을 광범-한 실험을 통해 입증했습니다.

실험 결과

실험은 Amazon Reviews 2023 데이터셋의 세 가지 다양한 카테고리(All_Beauty (소형), Electronics (중형), Clothing_Shoes_Jewelry (대형))에서 수행되었습니다.

• 제약 조건 만족: DualAgent-Rec는 모든 카테고리에서 100% 실행 가능성을 달이트하여, 적응형 $\epsilon$-완화 및 CDP 메커니즘의 효과를 검증했습니다.
• 파레토 성능: 이 프레임워크는 단일 모집단 베이스라인 및 규칙 기반 할당 변형 모델에 비해 파레토 하이퍼볼륨(HV)을 4~6% 향상시켰습니다.
• 정확도-다양성 트레이드오프: 무제약 변형 모델은 더 높은 다양성을 달성했지만 실행 가능성 확보에 실패했습니다(72%). 반면, DualAgent-Rec는 엄격하게 제약 조건을 준수하면서도 경쟁력 있는 다양성(0.247)과 정확도(NDCG@10: 0.581)를 유지했습니다.
• 절제 실험(Ablation) 통찰:
  • 모집단 크기: 작은 모집단(50)은 지연 시간에 민가한 앱에 적합한 빠른 실행 시간(5.2초)을 제공했으며, 큰 모집단(200)은 오프라인 배치 처리를 위한 최대 다양성을 확보했습니다.
  • 제약 엄격도: 이것이 가장 영향력 있는 요소였습니다. 더 엄격한 제약은 HV를 감소시키지만 정확도를 극대화하여, 튜닝 가능한 트레이드오프를 제공했습니다.
  • LLM 영향: LLM 코디네이터는 고정 규칙 할당 대비 약 1%의 일관된 HV 향상을 제공했으며, 해석 가능성과 자동 적응 측면에서 유의미한 질적 이점을 제공했습니다.

의의 및 주장

본 논문은 학술적 다목적 최적화 연구와 실제 프로덕션 요구사항 사이의 간극을 메운다고 주장합니다. 이 연구의 주요 의의는 LLM이 복잡하고 제약이 있는 최적화 문제를 위한 고수준 오케스트레이션 에이전트로서 효과적으로 기능할 수 있음을 보여준 데 있습니다. 이는 스코어링이나 상호작용이라는 전통적인 역할을 넘어선 것입니다.

저자들은 DualAgent-Rec가 제약 조건 준수를 "일급 목표(first-class objective)"로 취급하는 원칙적인 프레임워크를 제공하며, 이를 통해 모든 배포된 추천 리스트가 기대치가 아닌 설계 단계부터 실행 가능함을 보장한다고 주장합니다. 본 연구는 프레임워크를 실시간 또는 오프라인 등 다양한 시나리오에 맞춰 튜닝할 수 있으면서도, 하드 제약 조건 준수라는 타협 불가능한 요구사항을 유지하는 실질적인 배포 가이드라인을 제시합니다.