💻 computer science

ProfiLLM: Utility-Aligned Agentic User Profiling for Industrial Ride-Hailing Dispatch

ProfiLLM은 도구 증강 글로벌 지식 마이닝과 유틸리티 정렬 프로파일 탐색을 결적으로 결합하여 산업용 차량 호출 배차를 위한 사용자 프로파일링 스케일링의 과제를 극복함으로써 DiDi의 프로덕션 매칭 시스템에서 상당한 성능 향상을 이끌어낸 에이전트 기반 LLM 데이터 파이프라인입니다.

원저자: Tengfei Lyu, Zirui Yuan, Xu Liu, Kai Wan, Zihao Lu, Li Ma, Hao Liu

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tengfei Lyu, Zirui Yuan, Xu Liu, Kai Wan, Zihao Lu, Li Ma, Hao Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수백만 명의 사람들이 이동 수단을 찾고 있고, 수천 명의 운전자가 승객을 찾고 있는 거대하고 북적이는 도시를 상상해 보세요. 이 도시의 "두뇌"는 **디스패처(dispatcher, 배차 시스템)**라고 불리는 초고속 컴퓨터 시스템입니다. 이 시스템의 임무는 눈 깜짝할 사이(실제로 2초 이내)에 적절한 운전자와 승객을 매칭하는 것입니다.

오랫동안 이 디스패처는 매우 똑똑한 회계사처럼 작동해 왔습니다. 그것은 숫자만을 바라보았습니다. 운전자는 얼마나 멀리 있는가? 요금은 얼마인가? 승객은 얼마나 기다렸는가? 이러한 확고한 숫자들을 바탕으로 매칭을 수행했습니다.

하지만 이 논문의 저자들은 ProfiLLM을 통해 회계사가 중요한 무언가를 놓치고 있다는 사실을 깨달았습니다. 바로 **인간의 이야기(the human story)**입니다.

문제점: 회계사 vs. 스토리텔러

어떤 운전자가 공항 근처는 항상 교통 체증이 심하기 때문에 그쪽으로 가는 것을 싫어한다고 가정해 봅시다. 혹은 어떤 승객은 픽업 장소가 5분 거리보다 멀어지면 바로 예약을 취소할 수도 있습니다. 회계사는 "거리: 2마일"이라는 숫자만 봅니다. 하지만 스토리텔러는 "이 운전자는 공항을 피하며, 이 승객은 긴 도보 이동을 싫어한다"라는 맥락을 봅니다.

연구진은 거대 언어 모델(LLM)—시를 쓰거나 질문에 답하는 것과 같은 종류의 AI—을 사용하여 모든 운전자와 승객의 이력을 읽고 그들의 "스토리 프로필"을 작성하는 시도를 했습니다. 그들은 이 이야기들이 디스패처가 더 나은 매칭을 하는 데 도움이 되기를 바랐습니다.

하지만 세 가지 커다란 문제가 있었습니다:

너무 많은 데이터: 사용자 수가 수백만 명에 달합니다. 실시간으로 모든 사람의 전체 이력을 AI에게 읽게 할 수는 없습니다. 시간이 너무 오래 걸리고 시스템이 다운될 것이기 때문입니다.
"롱 테일(Long Tail)" 이슈: 대부분의 사람(승객의 96%)은 한 달에 몇 번의 탑승만 요청합니다. 따라서 좋은 이야기를 써 내려갈 만큼의 충분한 이력이 쌓여 있지 않습니다.
유창하지만 쓸모없는 결과: AI는 매우 유창하고 아름다운 이야기를 쓸 수 있지만, 그것이 실제로는 승객이 왜 예약을 취소하는지 예측하는 데 도움이 되지 않을 수도 있습니다. 이는 마치 운전자에 대해 멋진 시를 썼지만, 정작 그 운전자가 실제로 나타날지 아닐지는 알려주지 않는 것과 같습니다.

해결책: "ProfiLLM" 공장

연구팀은 ProfiLLM이라는 시스템을 구축했는데, 이는 고도의 기술이 집약된 공장처럼 작동합니다. 모든 사람을 위해 실시간으로 이야기를 쓰려고 노력하는 대신, 시스템이 쉬고 있을 때(오프라인) 힘든 작업을 미리 해두고, 시스템이 돌아갈 때(온라인) 그 결과만을 사용합니다.

이 공장이 어떻게 작동하는지 간단한 비유를 통해 설명하겠습니다.

1단계: "글로벌 탐정" (지식 채굴)

먼저, AI는 탐정 역할을 합니다. 단순히 한 사람만 보는 것이 아니라, 27가지의 서로 다른 "도구"(돋보기, 지도, 계산기 등)를 사용하여 도시 전체의 이력을 조사합니다.

AI는 패턴을 발견합니다: "비 오는 화요일에는 북부 지역의 운전자들이 더 자주 취소한다."
AI는 사람들을 그룹화하는 규칙을 만듭니다. 10만 명의 승객을 각각 10만 명의 고유한 개인으로 취급하는 대신, 유사한 행동 패턴을 가진 약 100개의 "부족(tribes)" 또는 **클러스터(clusters)**로 묶습니다.
비유: 한 나라의 모든 시민을 일일이 인터뷰하는 대신, 100개 지역 사회의 리더들을 인터뷰하여 각 지역의 전반적인 분위기를 파악하는 것과 같습니다.

2단계: "스토리 에디터" (유용성에 정렬된 탐색)

이제 각 "부족"에 대해 AI는 프로필을 작성하려고 시도합니다. 하지만 단순히 하나를 써보고 잘 되길 바라는 것이 아닙니다.

AI는 다양한 버전의 초안을 작성합니다.
그리고 빠른 테스트를 실행합니다: "만약 우리가 이 이야기를 사용하여 행동을 예측한다면, 단순히 숫자만 사용하는 것보다 더 효과적인가?"
만약 이야기가 그저 "유창"하기만 하고 예측에 도움이 되지 않는다면 버려집니다. 만약 이야기가 취소나 수락을 예측하는 데 도움이 된다면 채택됩니다.
그 후, AI가 단순히 듣기 좋은 이야기를 쓰는 것이 아니라, 디스패처에게 실제로 도움이 되는 종류의 이야기만을 쓰도록 가르치는 특수한 훈련 기법(DPO)을 사용합니다.

3단계: "신속한 중매쟁이" (온라인 서빙)

이것이 마법 같은 부분입니다. 실제 승객이 탑승을 요청할 때:

시스템은 AI에게 생각하거나 글을 쓰라고 요청하지 않습니다. 그러면 너무 느려질 것이기 때문입니다.
대신, 승객이 어느 "부족(클러스터)"에 속해 있는지 찾아냅니다.
이전에 만들어 둔 해당 부족의 "프로필 카드"를 가져옵니다.
이 카드를 숫자 정보(거리, 가격)와 결합하여 즉각적으로 매칭을 수행합니다.

결과: 정말 효과가 있는가?

연구진은 세계 최대 규모의 차량 호출 기업 중 하나인 Didi에서 이를 테스트했습니다.

더 나은 예측: 시스템은 운전자가 탑승을 수락할지, 혹은 승객이 예약을 취소할지를 훨씬 더 잘 예측하게 되었습니다. 테스트 결과, 예측 정확도가 최대 6.14% 향상되었습니다.
더 많은 수익과 행복한 이용자: 시뮬레이션 결과, 시스템은 **4.35% 더 많은 매출(GMV)**을 창출했습니다. 14일간의 실제 환경 테스트에서, 실제로 매출이 0.47% 증가했고 완료된 탑승 건수는 0.33% 더 많아졌습니다.
취소 감소: 운전자가 수락하기도 전에 승객이 예약을 취소하는 횟수가 0.82% 감소했습니다.
매우 빠른 속도: AI가 혼잡 시간대가 시작되기 전에 모든 생각을 마쳐 놓기 때문에, 실제 매칭 과정에서 발생하는 지연 시간은 거의 **제로(0)**에 가깝습니다(1밀리초 미만).

핵심 요약

ProfiLLM은 도시의 모든 동네에 대한 상세한 캐릭터 프로필을 작성하는 전문 전기 작가 팀을 고용하되, 그 일을 모두 밤에 미리 해두는 것과 같습니다. 낮 동안 디스패처는 그 동네의 "성격"이 적힌 작은 포켓 카드를 들고 다니며 더 똑똑하고 즉각적인 결정을 내립니다.

이 시스템은 전통적인 시스템의 "차가운 숫자"와 인간 행동의 "따뜻한 맥락" 사이의 간극을 메워줍니다. 또한, 무거운 사고 과정은 오프라인에서 처리하고 실행은 번개처럼 빠르게 유지한다면, AI가 어떻게 실시간 산업 시스템에서 유용하게 쓰일 수 있는지를 증명해 보였습니다.

기술 요약: ProfiLLM

1. 문제 정의

본 논문은 산업용 승차 공유 배차 시스템에 대규모 언어 모델(LLM)을 통합하여 주문-드라이버 매칭을 개선하는 과제를 다룹니다. 현재의 프로덕션 파이프라인은 후보 주문-드라이버(OD) 쌍에 대한 행동 결과(수락, 취소, 완료)를 예측하기 위해 거리, 가격과 같은 구조화된 수치적 특징에 크게 의존합니다. 그러나 특정 지역에 대한 드라이버의 습관적 기피나 승객의 시간 민감도와 같은 결정적인 행동 신호는 본질적으로 맥락적이고 의미론적(semantic)이며, 이는 수작업으로 만든 수치적 특징만으로는 포착하기 어렵습니다.

LLM은 복잡한 행동 궤적을 의미론적 프로필로 응축할 수 있지만, 밀리초 단위의 지연 시간이 발생하는 라이브 디스패처(dispatcher)에 배포하는 데에는 세 가지 얽힌 제약 조건이 따릅니다:

데이터 규모 vs. 컨텍스트 제한: 플랫폼 규모의 로그(예: 단일 도시에서 38일 동안 4,430만 건의 기록)는 어떤 LLM의 컨텍스트 창도 초과합니다.
롱테일 데이터 분포: 연구 대상 승객의 대다수(96%)는 저빈도 사용자로서, 신뢰할 수 있는 개인별 프로파일링을 위한 충분한 상호작용 이력이 부족합니다.
유틸리티 불일치(Utility Misalignment): LLM이 생성한 유창하고 표면적인 프로필이 반드시 다운스트림 예측 유틸리티를 향상시키는 것은 아니며, 경우에 따라 나이브(naive)한 LLM 프로필은 모델 성능을 저하시킬 수 있습니다(예: 최대 -7.57% AUC 하락).

핵심 문제는 수백만 명의 사용자로 확장 가능하고, 희소한 데이터를 처리하며, 온라인 추론 시 제로에 가까운 서브 밀리초 오버헤드만을 허용하는 엄격한 오프라인-온라인 계약을 준수하면서도, 유틸리티가 정렬된 유저 프로파일링을 운영화하는 것입니다.

2. 방법론: ProfiLLM

ProfiLLM은 의미론적 프로파일링과 실시간 매칭 사이의 간극을 메우기 위해 설계된 에이전트 기반 LLM 데이터 파이프라인입니다. 이 시스템은 엄격한 분리를 강제합니다: 모든 LLM 추론은 오프라인에서 수행되며, 온라인 시스템은 사전 계산된 클러스터 수준의 프로필 임베딩만을 서빙합니다. 프레임워크는 두 가지 주요 모듈로 구성됩니다:

2.1 도구 증강 글로벌 지식 마이닝 (오프라인)

규모 및 그라운딩(grounding) 문제를 해결하기 위해, LLM 에이전트는 27개의 분석 도구(통계, 시공간, 맥락, 인과 관계 도구로 분류됨)로 구성된 툴킷을 갖춥니다. 에이전트는 방대한 과거 로그를 처리하기 위해 탐색(Explore) → 심화(Deepen) → 검증(Validate) → 합성(Synthesize) 패러다임을 따릅니다:

탐색(Explore): 플랫폼 수준의 지표를 계산하고 예비 패턴을 식별합니다.
심화(Deepen): 시간적 패턴, 공간적 이질성 및 사용자 세분화에 대한 집중적인 분석을 수행합니다.
검증(Validate): 통계적 가설 검정과 인과 관계 분석을 적용하여 유의미한 결과만을 유지합니다.
합성(Synthesize): 재사용 가능한 세 가지 산출물을 생성합니다:
1. 글로벌 지식 ( $K$ ): 플랫폼 벤치마크, 시간적 규칙성 및 인과 관계.
2. 적응형 사용자 클러스터링 규칙 ( $A$ ): 행동 유사성(예: 활성 시간대, 빈번한 지역)에 따라 사용자를 그룹화하는 해석 가능한 규칙 기반 분류기. 이는 개별 레벨이 아닌 클러스터 레벨에서 데이터를 집계함으로써 롱테일 문제를 해결합니다.
3. 지역적 사전 정보 ( $R$ ): 그리드 단위의 공급-수요 통계.

2.2 유틸리티 정렬 프로필 탐색 (오프라인)

각 사용자 클러스터에 대해, 시스템은 마이닝된 글로벌 지식을 바탕으로 프로필을 생성하고 정교화합니다:

후보 생성: LLM은 각 클러스터에 대해 분석(행동 패턴), 프로필(의미론적 묘사), 로직(실행 가능한 불리언 결정 규칙) 구조로 된 다양한 후보 프로필 $K$ 개를 생성합니다.
유틸리티 평가: 모든 후보에 대해 전체 예측 모델을 훈련하는 대신, 시스템은 로직 컴포넌트를 경량 프록시(proxy)로 사용합니다. 이는 베이스 모델의 예측값과 규칙 기반 예측값을 혼합하여 융합된 AUC를 계산합니다. 이를 통해 구조화된 특징으로는 포착할 수 없는 신호를 잡아내는 프로필을 식별합니다.
반복적 정교화: 최적의 후보들은 예측 오차 피드백을 바탕으로 반복적으로 정교화됩니다.
DPO 파인튜닝: 선호도 쌍(preference pairs)은 서로 다른 유틸리티 이득을 가진 프로필들을 비교하여 구축됩니다. Direct Preference Optimization(DPO) 파인튜닝 단계는 LLM 생성기를 다운스트림 예측 유틸리티에 정렬시켜, 컴팩트한 모델(예: Qwen3-8B)이 더 크고 정렬되지 않은 백본 모델보다 우수한 성능을 내도록 합니다.

2.3 온라인 서빙

온라인 디스패처는 LLM 추론 없이 작동합니다:

클러스터 할당: 결정론적 규칙 평가를 통해 사용자를 클러스터에 할당합니다.
임베딩 룩업: 시스템은 사전 계산된 클러스터 프로필의 $d$ -차원 임베딩을 검색합니다.
예측: 임베딩을 구조화된 특징과 결합하여 기존 멀티태스크 예측 모델에 입력합니다.
매칭: 가중치를 계산하고, Kuhn-Munkres 알고리즘을 통해 할당 문제를 해결합니다.
총 오버헤드는 서브 밀리초(< 0.01 ms per pair)입니다.

3. 주요 기여

최초의 배포된 LLM 프로파일링 파이프라인: ProfiLLM은 오프라인-온라인 디커플링 전략을 통해 엄격한 지연 시간 제약을 준수하며, 실제 프로덕션 승차 공유 디스패처에 LLM 기반 사용자 프로파일링을 배포한 첫 번째 시스템입니다.
도구 증강 지식 마이닝: LLM 에이전트가 27개의 분석 도구를 자율적으로 조합하여 LLM의 컨텍스트 한계를 초과하는 데이터 볼륨으로부터 글로벌 지식과 클러스터링 규칙을 추출하는 새로운 모듈입니다.
유틸리티 정렬 탐색: 예측 유틸리티를 제1순위 최적화 신호로 취급하는 메커니즘입니다. 이는 경량 로직 기반 프록시와 DPO 파인튜닝을 사용하여 생성된 프로필이 단순히 언어적으로 유창한 것을 넘어 다운스트림 매칭을 실제로 개선하도록 보장합니다.
확장 가능한 롱테일 처리: 개별 사용자 프로파일링에서 클러스터 수준 프로파일링으로 전환함으로써, 충분한 개별 이력이 없는 저빈도 사용자를 효과적으로 프로파일링합니다.

4. 실험 결과

시스템은 브라질의 세 도시(도시 A, B, C)에 대한 DiDi의 프로덕션 데이터를 통해 평가되었으며, 도시 A에서 14일간의 온라인 A/B 테스트를 통해 배포되었습니다.

예측 성능: ProfiLLM은 구조화된 특징 전용 베이스라인 대비 결과 예측(특히 승객 취소)에서 최대 **+6.14%**의 상대적 AUC 개선을 달しまいました. 나이브한 LLM 베이스라인은 종종 성능을 저하시켰으며, 이는 유틸리티 정렬 메커니즘의 필요성을 강조합니다.
시뮬레이션 결과: 디스패칭 시뮬레이션에서 ProfiLLM은 최대 **+4.35%**의 총 거래액(GMV) 증가와 완료율의 유의미한 개선을 나타냈습니다.
온라인 A/B 테스트 (도시 A): 14일 동안 시스템은 일관된 실질적 개선을 보여주었습니다:
- +0.47% GMV.
- +0.33% 완료율.
- -0.82% 수락 전 취소율.
- 드라이버 및 승객 모두에 대한 수락 후 취소 감소.
비용 효율성: DPO 기반 리프레시 전략은 초기 탐색 실행 대비 오프라인 비용을 10.6배 절감했습니다. 온라인 경로는 무시할 만한 비용을 추가하며, 이를 통해 ProfiLLM-DPO는 더 큰 LLM 백본 모델들과 비교했을 때 비용-품질 트레이드오프의 파레토 프런티어(Pareto frontier)에 위치하게 됩니다.

5. 의의 및 주장

본 논문은 ProfiLLM이 "컨텍스트 창", "롱테일", "유틸리티 정렬"이라는 삼중 난제를 해결함으로써 산업적 의사결정을 위한 LLM의 운영 가능성을 성공적으로 입증했다고 주장합니다. 그 의의는 다음과 같습니다:

의미론적 프로파일링의 규모 확장 가능성: LLM이 생성한 프로필은 글로벌 지식에 근거하고 클러스터 수준에서 집계될 경우, 구조화된 특징이 놓치는 행동 신호(예: 지역적 기피)를 포착할 수 있음을 보여줍니다.
유틸리티 정렬의 중요성: 표면적인 유창함은 유틸리티의 대리 지표가 아닙니다. 성능 저하를 피하기 위해서는 (로직 프록시와 DPO를 통해) 다운스트림 예측 지표에 직접 프로필을 최적화하는 것이 필수적입니다.
오프라인-온라인 디커플링의 필요성: 복잡한 LLM 추론을 활용하려면 추론이 엄격하게 오프라인 배치 프로세싱에 국한되어 온라인에서는 경량 임베딩만을 서빙해야 한다는 점을 입증했습니다.

저자들은 ProfiLLM을 단순한 이론적 개선을 넘어, 핵심 매칭 알고리즘을 수정하지 않고도 수익과 사용자 경험을 향상시키는 실질적으로 배포 가능한 솔루션으로 포지셔닝합니다.