기술 요약: 검색, 매칭, 에스컬레이션 (Retrieve, Match, Escalate)

문제 정의

본 논문은 대규모 온디맨드 마켓플레이스(DoorDash) 규모에서의 상품 연결(엔티티 해상도, Entity Resolution) 문제를 다룹니다. 이 과제는 수십억 개의 노이즈가 섞인 다국어, 다카테고리 가맹점 상품 레코드(SKU)를 수천만 개의 표준 카탈로그 제품에 매핑하는 작업을 포함합니다.

핵심 과제는 **비용-역량 간의 트레이드오프(cost-capability trade-off)**입니다.

• 규모: 모든 후보 쌍을 고성능 모델로 해결하는 것은 계산적으로 불가능합니다.
• 난이도 편차: 많은 쌍은 명확한 반면(예: 정확한 바코드 일치), 데이터 누락, 속성 충돌, 또는 미세한 변체(예: 크기, 맛)를 구분해야 하는 모호한 경우도 존재합니다.
• 데이터 품질: 가맹점 레코드는 이미지가 누락되거나, 정규화되지 않은 바코드, 자유 텍스트 속성을 포함하는 경우가 많아 단순 텍스트 매칭만으로는 "하드 테일(hard tail)"이라 불리는 모호한 사례들을 해결하기에 불충분합니다.
• 라벨링 병목 현 현상: 제품의 정체성은 결합적(브랜드, 크기 등이 일관되어야 함)이며, 불완전한 증거를 공동으로 해결해야 하므로 신뢰할 수 있는 인간 라벨을 얻기가 어렵습니다.

방법론

저자들은 결정의 난이도에 비례하여 계산 자원을 할당하는 **신뢰도 기반의 3단계 캐스케이드(confidence-routed, three-stage cascade)**를 제안합니다.

1단계: 검색 (Retrieval)

매칭 전, 시스템은 가맹점 레코드당 후보 세트($K=20$)를 글로벌 카탈로그에서 좁힙니다.

• 메커니즘: 벡터 인덱스는 세 가지 채널(텍스트: 아이템 이름/구조화된 필드, 이미지: 제품 사진, 바코드: GTIN/UPC)을 융합합니다.
• 기술: 텍스트와 이미지를 위해 근사 최근접 이웃(ANN) 검색을 사용하며, 정확하거나 부분적인 바코드 매칭을 결합합니다. 결과는 상호 순위 융합(Reciprocal Rank Fusion, RRF)을 사용하여 병합됩니다.
• 목표: 높은 재현율(Recall)을 보장하는 것입니다. 만약 올바른 표준 제품이 검색되지 않는다면, 후속 단계에서 매칭될 수 없습니다.

2단계: 경량 크로스 인코더 매처 (Lightweight Cross-Encoder Matcher)

이 단계는 후보 쌍의 점수를 매기고 신뢰도에 따라 경로를 지정합니다.

• 아키텍처: 시그모이드 헤드를 가진 1억 5천만 파라미터 규모의 텍스트 전용 ModernBERT-base 크로스 인코더입니다. 두 레코드의 직렬화된 필드(카테고리, 이름, GTIN/UPC 리스트, 크기, 단위)를 하나의 256 토큰 시퀀스로 결합합니다.
• 입력 전략: 원시 바코드 숫자를 사전 계산된 동일성 플래그 대신 시퀀스에 직접 입력하여, 모델이 부분적이고 노이즈가 있는 일치 패턴을 학습할 수 있도록 합니다.
• 학습 및 증류(Distillation): 모델은 **이중 VLM 합의(dual-VLM consensus)**를 통해 생성된 530만 개의 쌍으로 학습됩니다. 두 개의 독립적인 VLM이 각 쌍을 점수 매기며, 두 모델이 일치하는 경우에만 학습 라벨로 사용됩니다. 이는 4만 개의 인간 라벨을 130배 더 일관된 합성 라벨로 대체합니다.
• 라우팅 정책: 모델은 보정된 점수($s \in [0, 1]$)를 출력합니다.
  • 높음 ($s \geq \theta_{high}$): 자동 수락 (정밀도 $\geq 98\%$).
  • 낮음 ($s \leq \theta_{low}$): 자동 거절.
  • 중간: 3단계로 에스컬레이션.

3단계: 에이전틱 멀티모달 VLM (Agentic Multimodal VLM)

이 단계는 2단계에서 해결할 수 없는 모호한 "중간" 구간을 판정합니다.

• 아키텍처: 자체 호스팅되는 오픈 웨이트 MoE(Mixture-of-Experts) VLM(Qwen 3.6 35B-A3B)을 사용합니다.
• 역량: 이 에이전트는 **에이전틱(agentic)**합니다. 제품 레코드와 이미지를 전달받으며, MCP 인터페이스를 통해 웹 검색 도구에 접근할 수 있습니다. 에이전트는 ReAct 패턴을 따르며, 레코드에 없는 갈등을 해결하기 위해 외부 증거(예: 소매 사이트에서 바코드 또는 브랜드 확인)를 검색할지 여부를 스스로 결정합니다.
• 최적화:
  • 프롬프트 엔지니어링: 검색 결과가 없더라도 이를 조작된 증거로 간데하지 않고(결론이 나지 않은 상태로 취급), 정체성 입증 범위를 동일 소매업체의 증거로 제한하도록 하는 특정 부가 사항을 가이드합니다.
  • 루프 제어: 과도한 검색과 지연 시간 팽창을 방-지하기 위해 에이전트는 최대 4회의 도구 실행 횟수로 제한됩니다.
• 비용 절감: 시스템은 폐쇄형 프런티어 VLM(GPT-5.4)에서 오픈 웨이트 모델로 전환하여, 토큰당 벤더 비용을 제거하고 검색 백엔드에 대한 제어권을 확보했습니다.

주요 기여

1. 도구를 사용하는 멀티모달 추론: 제품 연결을 능동적인 증거 수집(웹 검색)과 멀티모달 추론이 필요한 작업으로 정식화하였으며, 이를 특정 프롬프트가 적용된 사전 학습된 VLM을 통해 구현했습니다.
2. 확장 가능한 신뢰도 기반 캐스케이드: 경량화된 증류 크로스 인코더와 에이전틱 VLM을 결합하는 방법을 보여줍니다. 크로스 인코더는 고신호 다수를 효율적으로 해결하고, 에이전트는 어려운 꼬리 부분을 처리하여 비용-정확도 트레이드오프를 최적화합니다.
3. 프로덕션 검증 및 증류 통찰:
   • 파이프라인을 프로덕션 운영 지점(정밀도 98%)에서 검증했습니다.
   • 오픈 웨이트, 자체 호스팅 에이전트가 (파인튜닝 없이도) 정밀도 면에서 폐쇄형 프런티어 모델과 대등한 성능을 보이면서도 비용은 약 1/7 수준임을 입증했습니다(재현율 4포인트 트레이드오프 발생).
   • 크로스 인코더의 특정 실패 모드(손상된 식별자에 대한 바코드 과잉 인덱싱)를 식별하고, 수동 패치가 아닌 정규화된 교사 모델을 사용한 2차 증류 패스를 통해 해결했습니다.

결과

• 검색(Retrieval): 검색 단계는 중복 제거 슬라이스(독립적 그라운드 트루스)에서 93.06%의 재현율을, 연결된 쌍에서는 99.12%를 달면합니다.
• 매처(2단계): 증류된 크로스 인코더는 홀드아웃 세트에서 **98% 정밀도에서의 재현율(R@P98) 77.05%**를 달성했습니다. 이 모델은 프로덕션에서 이 정밀도 기준에서 링크의 43.7%를 자동 수락합니다.
• 에이전트(3단계):
  • 인간 대비: 어려운 중간 신뢰도 작업에서 에이전트는 훈련된 인간 작업자보다 정확도 +13.7%, 재현율 +18.5%, 정밀도 +4.7% 높은 성능을 보였습니다 ($p < 0.0001$).
  • 폐쇄형 모델 대비: 오픈 웨이트 에이전트는 폐쇄형 프런티어 모델의 정밀도(98.0%)에는 부합하지만, 쌍당 비용이 약 7배 저렴한 조건에서 재현율은 약간 낮습니다(88% vs 92%).
• 엔드 투 엔드 임팩트: 캐스케이드는 가장 모호한 레코드를 해결함으로써 엔드 투 엔드 링크 커버리지를 저렴한 1단계만 사용했을 때의 **68.1%**에서 **77.1%**로, 9.0 퍼센트 포인트 상승시켰습니다.

의의 및 주장

본 논문은 성능의 병목이 아키텍처가 아니라 라벨이라고 주장합니다. 실험 결과, 모델 용량을 키우거나 하이퍼파라미터를 튜닝하는 것보다 고도로 일관된 합성 라벨(이중 VLM 합의를 통해)의 양을 늘리는 것이 더 큰 성능 향상을 가져온다는 것을 보여주었습니다.

본 시스템은 다음과 같은 프로덕션 운영 지점을 구축합니다:

• 비용 효율성: 계산 자원은 꼭 필요한 곳에만 사용됩니다. 쌍당 비용은 5개 차수(orders of magnitude)에 걸쳐 차이가 나지만, 캐스케이드를 통해 값비싼 에이전트가 "하드 테일"에만 호출되도록 보장합니다.
• 강건성(Robustness): 원시 토큰 학습(바코드를 위해)과 에이전틱 검색(누락된 컨텍스트를 위해)을 결합하여 노이즈가 많고 이질적인 데이터(이미지 누락, 정규화되지 않은 바코드)를 처리합니다.
• 이식성(Portability): 설계(검색 후 매칭, 신뢰도 라우팅, 증류)는 도메인에 독립적입니다. 구체적인 성공은 프롬프트와 도구 계약이 안정적인 한, 전체 파이프라인을 재학습하지 않고도 모델을 교체할 수 있다는 점(예: 폐쇄형에서 오픈 웨이트로)에 기반합니다.

저자들은 이 시스템이 100% 커버리지를 위한 "만능 해결책"은 아니지만(검색 및 카탈로그 완결성에 의해 제한됨), 대규모 마켓플레이스에서 확장 가능하고 정확하며 비용 효율적인 엔티티 해상도를 향한 중요한 진전임을 강조합니다.