From Unstructured to Structured: LLM-Guided Attribute Graphs for Entity Search and Ranking

"비구조화에서 구조화로: 엔티티 검색 및 랭킹을 위한 LLM 기반 속성 그래프" 논문의 상세 기술 요약입니다.

1. 문제 정의

이 논문은 전자상거래에서의 엔티티 검색 과제, 특히 쿼리 제품과 가장 유사한 제품 (예: 대체제 찾기) 을 찾는 작업에 직면한 과제를 다룹니다.

• 핵심 난제: 제품 정보는 일반적으로 비구조화되어 있음 (제목, 설명, 불릿 포인트) 으로, 체계적이고 속성 수준의 비교를 수행하기 어렵습니다.
• 기존 방법의 한계:
  • 전통적 임베딩: 밀집 의미 모델은 종종 맥락에 따른 세밀한 속성 관련성을 포착하지 못함 (예: TV 의 "화면 크기"와 의류의 "소재"를 구분하는 것).
  • 직접 LLM 랭킹: 정제되지 않은 비구조화 텍스트를 대형 언어 모델 (LLM) 에 직접 입력하여 랭킹하는 것은 비용이 많이 들고, 높은 지연 시간을 초래하며, 과도한 토큰을 소모하고 중요한 속성에 대한 엄격한 제약을 적용하는 데 어려움을 겪습니다.
  • 콜드 스타트 및 동적 카테고리: 전통적인 협업 필터링은 신제품에 실패하며, 속성 집합은 동적이므로 새로운 카테고리에 대한 지속적인 적응이 필요합니다.

2. 방법론

저자들은 속성 기반 그래프 랭커를 활용하여 지식 구축과 랭킹을 분리하는 2 단계 하이브리드 시스템을 제안합니다.

1 단계: 오프라인 속성 그래프 구축

이 단계는 비구조화 텍스트를 구조화되고 재사용 가능한 그래프로 변환하여 제품 카탈로그를 풍부하게 만듭니다.

• 속성 정의:
  • 시스템은 LLM(Claude 3.5 Sonnet v2) 을 사용하여 계층적 속성 스키마 (상위 카테고리 및 하위 카테고리 수준) 를 정의합니다.
  • 광범위한 속성 (예: 브랜드, 치수) 과 구체적인 속성 (예: 스마트폰의 카메라 해상도) 을 생성합니다.
  • 인간 개입을 통한 큐레이션 (클러스터링/중복 제거) 은 61 개의 상위 카테고리와 4,940 개의 하위 카테고리 전반에 걸쳐 명명 일관성을 보장합니다.
• 속성 추출:
  • LLM 은 사전 정의된 스키마를 기반으로 제품 텍스트 (제목, 설명, 불릿) 를 처리하여 구조화된 속성 - 값 (AV) 쌍을 추출합니다.
  • 또한 초기 스키마에 없는 제품 고유 속성도 식별합니다.
• 그래프 구축:
  • 노드가 제품과 속성을 나타내는 **이분 그래프 (bipartite graph)**가 구축됩니다.
  • 간선은 제품을 속성에 연결하며, 특정 값으로 레이블이 지정됩니다.
  • 최적화: 그래프가 통제 불가능하게 커지는 것을 방지하기 위해 속성은 노드로, 값은 간선 레이블로 처리합니다 (각 고유한 값마다 고유한 노드를 생성하지 않음).

2 단계: 온라인 그래프 인식 LLM 랭킹

이 단계는 구조화된 그래프를 사용하여 실제 검색 및 랭킹을 수행합니다.

• 후보 생성:
  • 쿼리 엔티티가 수신됩니다.
  • 밀집 검색 모델 (bge-m3) 이 쿼리와 카탈로그 항목을 인코딩하여 연결된 텍스트의 코사인 유사도를 기반으로 상위-K 후보 (예: 상위 50 개) 를 검색합니다.
• 그래프 인식 랭킹:
  • 원본 텍스트를 LLM 에 입력하는 대신, 시스템은 쿼리 엔티티, 후보 엔티티, 그리고 해당 속성 노드를 포함하는 로컬 서브그래프를 구성합니다.
  • LLM 은 이 서브그래프 내에서 쿼리의 속성 값을 후보들과 비교하여 제로샷, 리스트 단위 추론을 수행합니다.
  • 점수 매기기: LLM 은 그래프 간선을 암묵적으로 탐색하여 유사성을 평가하고, 속성 값이 얼마나 잘 일치하는지에 따라 점수 (0~100) 를 할당합니다.
  • 효율성: LLM 의 입력은 자유 텍스트가 아닌 정제된 구조화된 JSON(AV 쌍) 이므로 토큰 사용량이 감소하고 적대적 위험이 완화됩니다.

3. 주요 기여

1. LLM 기반 속성 그래프 구축: 카테고리 인식 스키마를 자동으로 정의하고 비구조화 텍스트에서 구조화된 AV 쌍을 추출하여 확장 가능하고 재사용 가능한 속성 그래프를 생성하는 파이프라인.
2. 그래프 인식 LLM 랭킹: LLM 이 원본 텍스트가 아닌 구조화된 속성 그래프를 기반으로 추론하는 새로운 랭킹 메커니즘. 이는 명시적인 속성 - 값 비교를 가능하게 하여 정밀도와 해석 가능성을 향상시킵니다.
3. 분리 전략: 지식 구축 (오프라인) 과 추론 과정 (온라인) 을 분리함으로써 모델을 재학습하지 않고도 효율적이고 지연 시간이 짧은 랭킹을 가능하게 합니다.
4. 확장 가능한 배포: 제로샷 기능을 통해 다양한 카테고리의 수백만 개 제품을 처리하도록 설계된 산업 규모 시스템.

4. 실험 결과

이 시스템은 인간 평가와 LLM 기반 평가 (Nova Pro) 를 모두 사용하여 Amazon Shopping Queries 데이터셋 (469k 제품) 에서 평가되었습니다.

• 성능 지표:
  • Precision@5: 39.52%(밀집 검색 + 원본 LLM 랭커) 에서 47.14%(그래프 랭커) 로 향상됨.
  • 평균 역순위 (MRR): **60.00%**에서 **63.97%**로 증가함.
  • 평균 정밀도 (mAP): **57.99%**에서 **60.42%**로 향상됨.
  • nDCG@1: 엄격한 유사도 임계값에서 **75.27%**에서 **79.96%**로 향상됨.
• 효율성 향상:
  • 토큰 감소: 구조화된 속성은 제품당 토큰 사용량을 57%(원본 텍스트 700 개 대비 약 300 개) 줄였습니다.
  • 지연 시간: 원본 텍스트 랭킹 대비 요청당 약 250ms 빠른 추론을 달성했습니다.
• 추출 정확도: 속성 추출 단계는 2 만 개 샘플 세트에서 83.47% F1 점수를 달성했으며, 스키마 제약을 통해 환각 현상을 최소화했습니다.
• 일반화: 시스템은 작업별 학습 데이터가 필요 없는 제로샷 방식으로 다양한 제품 카테고리 전반에 걸쳐 견고한 성능을 입증했습니다.

5. 중요성 및 영향

• 비용 및 지연 시간 최적화: 토큰 소비를 57% 줄임으로써 LLM 기반 랭킹을 대량 전자상거래 응용 프로그램에 경제적으로 실현 가능하게 만들었습니다.
• 향상된 관련성: 의미적 "단어 주머니" 유사성에서 명시적인 속성 매칭으로 전환함으로써 시스템이 세밀한 제품 차이 (예: "보안 시스템"이 아닌 5 개 세트 보안 키트를 다른 5 개 세트 키트에 매칭) 를 처리할 수 있게 되었습니다.
• 실제 배포: 이 시스템은 이미 선도적인 글로벌 전자상거래 서비스에 배포되어 하위 애플리케이션 (가격 책정, 가용성) 의 입력 자료로 제공되며, 내부 임베딩 모델의 학습 데이터로 활용되고 있습니다.
• 해석 가능성: 블랙박스 밀집 임베딩과 달리 그래프 기반 접근 방식은 특정 속성 매칭에 기반한 투명한 추론을 제공하여 사용자 신뢰와 비즈니스 규칙 준수를 위해 필수적입니다.

결론적으로, 이 논문은 구조화된 속성 추출과 LLM 추론을 결합함으로써 높은 정밀도, 낮은 지연 시간, 확장성을 균형 있게 갖춘 우수한 엔티티 검색 시스템을 창출하며, 기존 검색 방법과 직접 텍스트 기반 LLM 랭킹 모두를 능가함을 보여줍니다.