🤖 AI

Atomic Intent Reasoning: Bringing LLM Semantics to Industrial Cross-Domain Recommendations

본 논문은 오프라인 LLM 추론과 효율적인 온라인 검색을 활용하여 콘텐츠와 이커머스 사이의 의미론적 격차를 해소함으로써, 콰이쇼우(Kuaishou)의 실제 배포 환경에서 상당한 추론 가속화와 실질적인 GMV 개선을 달성한 산업 등급의 교차 도메인 추천 프레임워크인 AIR(Atomic Intent Reasoning)를 제시한다.

원저자: Zhuohang Jiang, Yuxin Chen, Shijie Wang, Haohao Qu, Zhou Jindong, Wenqi Fan, Li Qing, Dongxu Liang, Jun Wang

게시일 2026-06-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhuohang Jiang, Yuxin Chen, Shijie Wang, Haohao Qu, Zhou Jindong, Wenqi Fan, Li Qing, Dongxu Liang, Jun Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 매우 똑똑하지만 믿을 수 없을 정도로 느리고 비싼 개인 쇼퍼인 "LLM"이라고 상상해 보세요. 이 쇼퍼는 인간의 욕구를 이해하는 데 천재적입니다. 만약 당신이 "귀여운 고양이 영상을 보고 나서 고양이 사료를 샀다"라고 말하면, 그는 즉시 "아, 이 사람은 고양이를 좋아하고 다음에는 고양이 트리(cat tree)를 원할 수도 있겠군"이라고 추론할 수 있습니다.

하지만 문제가 하나 있습니다. 이 쇼퍼는 답변을 내놓는 데 8초가 걸립니다. 콰이쇼우(Kuaishou)와 같은 거대한 중국 앱의 세계에서는, 응답 속도가 밀리초(ms) 단위여야 합니다. 쇼퍼가 너무 느리면 고객은 이미 상점을 떠나버린 후일 것입니다. 또한, 모든 사용자 상호작용마다 이 쇼퍼를 고용하는 것은 엄청난 비용이 듭니다.

이 논문은 **AIR (Atomic Intent Reasoning, 원자적 의도 추론)**라는 새로운 시스템을 통해 이 문제를 해결합니다. AIR를 생각할 때, 이는 실제 쇼핑이 즉각적으로 이루어질 수 있도록 고객이 도착하기 전에 미리 일하는 유능한 설계자이자 사서라고 생각하면 됩니다.

AIR가 어떻게 작동하는지 간단한 단계별로 설명하겠습니다:

1. "프리 게임" 준비 (오프라인 단계)

느린 "LLM 쇼퍼"에게 실시간으로 생각하라고 요청하는 대신, AIR는 (아무도 지켜보지 않을 때) 오프라인에서 모든 복잡한 생각을 마칩니다.

원자적 분해 (The Atomic Breakdown): 시스템은 사용자의 복잡한 이력(영상 시청, 광고 클릭, 물건 구매 등)을 가져와서, LLM에게 이를 작고 명확한 "의도 원자(intent atoms)"로 분해하도록 요청합니다.
- 비유: 시스템이 단순히 "고양이 영상을 보고, 자동차 영상을 본 뒤, 고양이 사료를 샀다"라고 하는 대신, 이를 구체적이고 라벨이 붙은 카드 형태로 변환합니다: [행동: 시청] + [대상: 고양이 영상] = 의도: 고양이 애호가.
도서관 (The Library): 이러한 "의도 카드"들은 거대하고 매우 체계적인 **의도 트리(Intent Tree)**로 정리되어 저장됩니다. 이것은 마치 음식을 미리 요리해서 냉동해 두는 것과 같습니다. 그래야 고객이 주문했을 때 처음부터 다시 요리할 필요가 없기 때문입니다.

2. "플래시" 서비스 (온라인 단계)

사용자가 실제로 앱을 방문할 때, 시스템은 느린 LLM을 호출하지 않습니다. 대신 초고속 사서처럼 행동합니다.

검색 (The Search): 시스템은 사용자가 지금 바로 무엇을 하고 있는지(예: 배드민턴 라켓을 보고 있음)를 확인합니다.
검출 (The Retrieval): 시스템은 즉시 도서관으로 달려가 배드민턴과 일치하는 "의도 카드"만을 뽑아옵니다. (지난달에 봤던 고양이 영상처럼 현재와 관련 없는 것들은 무시합니다.)
조립 (The Assembly): 시스템은 이 관련 있는 카드들을 빠르게 쌓아 올려, 사용자가 지금 당장 무엇을 원하는지에 대한 명확한 그림을 만들어냅니다.

3. "노이즈 필터"

사용자 행동 데이터는 종-종 매우 지저도 있고 방대합니다(마치 대부분의 책이 관련 없는 도서관의 수백만 권의 책과 같습니다).

비유: 특정 바늘을 건초더미에서 찾는 것을 상상해 보세요. 기존 방식은 건초더미 전체를 뒤지는 것이었습니다. AIR는 자석(Target-Aware Retrieval)을 사용하여 바늘(관련 있는 의도)만을 끌어당기고 건초(노이즈)는 무시합니다.
이를 통해 시스템은 혼란에 빠지거나 느려지지 않고 방대한 양의 데이터를 처리할 수 있습니다.

4. 결과: 속도와 스마트함

생각을 미리 해두고 정보를 즉각적으로 추출함으로써, AIR는 두 가지 놀라운 성과를 달ей합니다:

속도: LLM을 직접 호출할 때보다 400배 더 빠릅니다. 8초가 걸리던 작업을 단 20밀리초(ms)로 단축했습니다.
정확도: LLM의 "두뇌"를 사용하여 행동 뒤에 숨겨진 의미를 이해하기 때문에, 기존 시스템보다 사용자가 무엇을 사고 싶어 하는지 훨씬 더 잘 예측합니다.

현실 세계의 증명

저자들은 수억 명의 사용자를 보유한 거대 플랫폼인 **콰이쇼우(Kuaishou)**에서 이 시스템을 테스트했습니다.

테스트: 그들은 절반의 사용자는 기존 시스템을, 나머지 절반은 AIR를 사용하는 실제 환경 실험(A/B 테스트)을 진행했습니다.
승리: AIR 그룹은 회사에 **3.4% 더 많은 매출(GMV)**을 가져다주었습니다. 거대 비즈니스의 세계에서 이는 엄청난 승리입니다. 또한, LLM이 생성한 "의도 카드"를 기반으로 사용자의 관심사를 추측함으로써, 이력이 적은 사용자들의 문제(콜드 스타트 문제)도 해결했습니다.

요약하자면:
AIR는 "매우 똑똑한" 대규모 언어 모델의 두뇌를 사용하면서도, "느리고 비싼" 비용을 지불하지 않고도 기업이 사용할 수 있게 해주는 영리한 트릭입니다. 사용자의 데이터를 읽기 쉬운 카드로 미리 소화해 둠으로써, 사용자가 클릭하는 순간 시스템이 눈 깜짝할 사이에 "당신이 무엇을 원하는지 정확히 알고 있습니다"라고 말할 수 있게 해줍니다.

기술 요약: 원자적 의도 추론 (Atomic Intent Reasoning, AIR)

1. 문제 정의

본 논문은 산업용 콘텐츠-투-머천트(content-to-merchant) 플랫폼(예: 콰이쇼우)에서의 **교차 도메인 추천(Cross-Domain Recommendation, CDR)**이 직면한 핵심 과제를 다룹니다. 이 문제의 목표는 사용자의 콘텐츠 측 행동(예: 동영상 시청)으로부터 구매 의도를 추론하여 이커머스 전환을 유도하는 것입니다.

기존 방식들은 실제 배포 환경에서 두 가지 주요 병목 현상에 직면해 있습니다:

의미론적 격차 (Semantic Gaps): ID 레벨의 협업 필터링(공유 임베딩, GNN 등)에 의존하는 전통적인 방법들은 공생 상관관계(co-occurrence correlations)는 포착할 수 있으나, 이질적인 도메인 간의 미세한 의도 전이(예: "고양이 영상을 보는 것"에서 "고양이 사료를 사는 것"으로의 전이)를 이해하기 위한 의미론적 근거가 부족합니다.
LLM의 확장성 및 지연 시간 (Scalability and Latency of LLMs): 대규모 언어 모델(LLM)은 우수한 의미론적 이해와 추론 능력을 제공하지만, 다음과 같은 이유로 온라인 서빙에 직접 적용하기에는 무리가 있습니다:
- 지연 시간 (Latency): 실시간 LLM 추론에는 수 초가 소 소요되는 반면, 산업 시스템은 밀리초 단위의 응답을 요구합니다.
- 노이즈 및 규모 (Noise and Scale): 사용자 행동 시퀀스는 방대하고 이질적이며 노이즈가 많습니다. 가공되지 않은 긴 히스토리를 모델에 입력하면 노이즈가 증폭되고 계산 비용이 증가합니다.
- 적시성 (Timeliness): 사용자 프로필의 주기적인 오프라인 업데이트는 급격하게 변화하는 사용자의 관심사를 포착하지 못합니다.

2. 방법론: 원자적 의도 추론 (Atomic Intent Reasoning, AIR)

저자들은 무거운 의미론적 추론과 온라인 서빙을 분리하는 LLM 기반 프레임워크인 AIR를 제안합니다. 이는 실시간 의미론적 인식을 달성하면서도 밀리초 단위의 지연 시간을 유지하기 위해 오프라인-투-온라인 파이프라인을 채택합니다. 이 프레임워크는 네 단계로 구성됩니다:

1단계: 원자적 의도 쌍 생성 (오프라인)

프로세스: 온라인에서 전체 시퀀스를 처리하는 대신, AIR는 오프라인에서 LLM을 사용하여 복잡한 사용자 상호작용 시퀀스를 **원자적 행동-의도 단위(atomic behavior-intent units)**로 분해합니다.
메커니즘: 각 사용자 이벤트 $e = (action, object, user\_profile)$ 는 컨텍스트, 행동 의미론, 객체 설명을 결합한 LLM 프롬프트에 입력됩니다. LLM은 계층적 의도 경로(예: $Cat \rightarrow Cat\ Food$ )를 출력합니다.
출력: 이러한 원자적 의도들은 **의도 지식 베이스(Intent Knowledge Base)**에 캐싱되며, 다운스트림 모델링에서 차별화된 가중치를 부여할 수 있도록 행동 유형(클릭, 주문, 조회)별로 정리됩니다.

2단계: 실시간 통합 사용자 의도 트리 구축 (온라인)

프로세스: 온라인 서빙 중에 시스템은 사용자의 최근 행동 이력에서 캐싱된 원자적 의도를 검색합니다.
구조: 이러한 의도들은 **통합 사용자 의도 트리(Unified User Intent Tree)**로 집계됩니다.
- 노드 (Nodes): 다양한 추상화 수준의 의도 개념을 나타냅니다.
- 가중치 (Weights): 각 노드에는 다중 행동 횟수(클릭, 주문, 조회)와 최근 행동을 강조하기 위한 시간적 감쇠 요인을 결합하여 계산된 선호 가중치 $w_u$ 가 할당됩니다.
이점: 이는 LLM을 온라인에서 호출하지 않고도 방대한 이질적 시퀀스를 구조화되고 의미론적으로 표현력이 풍부한 표현으로 변환합니다.

3단계: 타겟 인식 의도 검색 (Target-aware Intent Retrieval)

프로세스: 노이즈와 규모 문제를 해결하기 위해, 시스템은 타겟 아이템(후보 제품)에 조건화된 검색을 수행합니다.
메커니즘:
1. 의미론적 유사도 (Semantic Similarity): 타겟 아이템 임베딩과 의도 노드 임베딩 간의 유사도를 계산합니다.
2. 의도 체인 찾기 (Intent Chain Finding): 타겟 관련성과 사용자 선호 강도를 기반으로 상위 순위의 의도 체인을 선택합니다.
3. 시퀀스 탐색 (Sequence Searching): 선택된 체인을 뒷받침하는 압축적이고 증거가 확실한 행동 인스턴스(예: 특정 클릭 또는 주문)를 검색하며, 디노이징(오래되거나 무관한 신호 필터링)을 적용합니다.
출력: 특정 타겟 아이템에 특화된 간결한 **사용자 의도 체인(User Intent Chain)**을 생성합니다.

4단계: MHA 기반 의도 추출

프로세스: 검색된 의도 체인은 멀티 헤드 어텐션 (Multi-Head Attention, MHA) 모듈을 사용하여 타겟 아이템 임베딩과 융합됩니다.
기능: 서로 다른 어텐션 헤드는 사용자 의도의 보완적인 측면(예: 거시적 카테고리 정렬 vs 미세한 선호 패턴)을 포착합니다.
통합: 결과물인 표현은 다운스트림 클릭률(CTR) 예측 및 랭킹을 위해 표준 사용자/아이템 특징과 통합됩니다.

3. 주요 기여

AIR 프레임워크: 실시간 LLM 호출과 대등한 효과를 달성하면서도 밀리초 단위의 서빙 지연 시간을 유지하는 새로운 교차 도메인 추천 프레임워크입니다.
원자적 의도 캐싱 (Atomic Intent Caching): 사용자 이벤트를 오프라인에서 원자적 의도 단위로 증류하여, 실시간 LLM 호출 대비 400배의 처리량 이득을 제공하는 메커니즘입니다.
타겟 인식 검색 (Target-Aware Retrieval): 길고 노이즈가 많은 이력에서 압축적이고 증거가 확실한 의도를 추출하고, 미세한 선호 모델링을 위해 MHA와 결합하는 방법론입니다.
산업적 검증: 콰이쇼우의 실제 이커머스 환경에서 성공적인 배포 및 A/B 테스트를 완료했습니다.

4. 실험 결과

본 논문은 공개 벤치마크와 대규모 산업 데이터셋에서 AIR를 평가합니다.

공개 벤치마크 (Amazon Movie-Book & Food-Kitchen):
- AIR는 최신 베이스라인(LLMCDSR, SASRec 및 전통적인 CDR 모델 포함)보다 NDCG@10 및 HR@10에서 우수한 성능을 보였습니다.
- 주목할 만한 개선: Movie-Book 시나리오에서 HR@10은 두 번째로 우수한 방법(LLMCDSR) 대비 41.31% 향상되었습니다.
어블레이션 연구 (Ablation Studies):
- 의도 트리(Intent Tree) 또는 의도 검색(Intent Retrieval) 구성 요소를 제거하면 성능이 크게 하락(HR@10이 17~27% 감소)하며, 이는 데이터 희소성을 처리하고 지식을 조직화하는 데 있어 이들의 결정적이고 결합된 역할을 확인시켜 줍니다.
지연 시간 분석 (Latency Analysis):
- 직접적인 LLM 추론(Qwen3-4b)은 약 8초가 소요됩니다.
- AIR는 이를 약 20.1 ms로 단축하여 400배의 처리량 이득을 달성했습니다.
산업 온라인 A/B 테스트 (Kuaishou):
- 플랫폼 트래픽의 5.08%에 배포되었습니다.
- GMV (총 상품 판매액): +3.446% 증가.
- GPM (천 건당 총 상품 판매액): +3.662% 증가.
- 유료 주문 수 (Paid Order Count): +1.043% 증가.
- OPM (천 건당 주문 수): +1.254% 증가.
- 사용자 활동: 저, 중, 고, 초고 활성 사용자 그룹 모두에서 일관된 상승을 보였으며, 특히 고활성 사용자 그룹에서 가장 높은 상승폭(+8.04%)이 관찰되어 긴 시퀀스에서의 노이즈 필터링 효과를 입증했습니다.

5. 의의 및 주장

본 논문은 AIR가 LLM의 의미론적 추론 능력과 산업용 추천 시스템의 엄격한 지연 시간/처리량 제약 사이의 간극을 성공적으로 메웠다고 주장합니다.

실용적 가치: LLM 추론을 오프라인 단계로 이전하고 효율적인 검색/조합을 온라인에서 사용함으로써, AIR는 LLM 수준의 의미론이 과도한 비용 없이 실시간 산업 시나리오에서 운영될 수 있음을 입증했습니다.
강건성 (Robustness): 본 프레임워크는 실제 사용자 행동 데이터의 "노이즈가 많고, 방대하며, 이질적인" 특성을 효과적으로 처리하며, 중첩된 사용자나 얕은 공생 패턴에 의존하는 방법들보다 뛰어난 성능을 보입니다.
비즈니스 임팩트: 실제 운영 환경에서의 핵심 비즈니스 지표(GMV, GPM)의 유의미한 상승은 이 프레임워크가 직접적인 상업적 가치에 기여함을 보여주며, 대규모 콘텐츠-투-커머스 루프에서의 생존 가능성을 증명합니다.