Snippet-Driven Supply Chain Discovery with LLMs: Scaling Visibility in China

기술 요약: LLM 을 활용한 스니펫 기반 공급망 발견

문제 제기
공급망 (SC) 에 대한 금융 및 경제 연구는 전통적으로 상장 기업의 구조화된 공시 자료와 중국 주식시장 및 회계 연구 데이터베이스 (CSMAR) 와 같은 상업용 데이터베이스에 의존해 왔습니다. 그러나 이러한 출처는 중요한 제도적 한계를 겪고 있습니다: 일반적으로 주요 파트너 (예: 상위 5 개 공급업체/고객) 만 보고하여 비상장 기업과 긴 꼬리 (long-tail) 기업 간 연결고리를 제대로 포착하지 못합니다. 공개 웹 증거 (기업, 정부, 무역 미디어) 가 이러한 격차를 보완할 수 있지만, 대규모 전체 텍스트 웹 마이닝은 prohibitively 비용이 많이 들며, 유료 장벽, robots.txt 제한, 그리고 대규모 언어 모델 (LLM) 로 전체 문서를 처리할 때 발생하는 높은 토큰 비용이라는 기술적 제약에 직면해 있습니다. 결과적으로 중국 경제에 대한 포괄적인 공급망 지식 그래프 (SCKG) 를 구축할 수 있는 확장 가능하고 감사 가능한 방법이 부재합니다.

방법론
저자들은 기업을 노드 (node) 로, 거래 관계를 방향성 엣지 (directed edge) 로 간주하여 감사 가능한 SCKG 를 구축하는 스니펫 기반 파이프라인을 제안합니다. 방법론은 네 가지 모듈로 구성됩니다:

1. 스니펫 수집: 전체 문서를 가져오는 대신, 시스템은 웹 검색 API(Serper) 를 사용하여 130,685 개 대상 중국 기업 (상장 및 대규모 비상장 기업 포함) 에 대한 쿼리 편향 검색 스니펫 (제목, URL, 짧은 요약) 을 검색합니다. 쿼리는 공급업체, 고객, 파트너를 대상으로 하는 다섯 가지 템플릿을 사용하여 생성됩니다.
2. LLM 기반 관계 추출: 지시 조정 (instruction-tuned) LLM(Qwen3-Next-80B-A3B-Instruct) 이 스니펫을 처리하여 파트너 이름, 관계 유형, 교환된 제품/서비스, 증거 참조가 포함된 구조화된 JSON 레코드를 추출합니다.
3. 신뢰도 라벨링: 3 단계 의사결정 과정을 통해 소스 도메인에 신뢰도 계층 (Tier 1~5) 을 할당합니다:
   • Tier 1: 대상/파트너 이름에 대한 퍼지 매칭을 통해 식별된 공식 기업 사이트.
   • Tier 2: 공식 정부 또는 증권거래소 도메인.
   • Tier 3: 신뢰할 수 있는 금융 뉴스.
   • Tier 4: 일반 미디어.
   • Tier 5: 집계기, 포럼, 또는 미확인 출처.
     이 메타데이터는 사후 필터링과 감사 가능성을 가능하게 합니다.
4. 지식 그래프 구축: 시스템은 정규화된 이름, 다국어 별칭 테이블 (Wikidata, Orbis), Jaro–Winkler 유사도를 사용하여 엔티티를 해결하고 기업 정체성을 병합합니다. 최종 그래프는 모든 엣지에 대해 출처 메타데이터 (URL, 스니펫 ID, 타임스탬프, 신뢰도 계층) 를 유지합니다.

주요 기여

• 확장 가능한 데이터 수집 프레임워크: 이 논문은 모든 소스 페이지에 대한 전체 텍스트 접근이 필요 없이 검색 스니펫에서 SC 관계를 추출하는 프레임워크를 검증하여, 13 만 개 이상의 기업으로 구성된 우주 전반에 걸친 광범위한 1 차 스크리닝을 가능하게 합니다.
• 확장된 가시성: 중국 기업에 적용된 이 방법은 스니펫에서 유래한 SCKG 가 전통적 데이터베이스의 '주요 파트너' 공시 한계를 넘어 가시성을 크게 확장할 수 있음을 보여줍니다.
• 감사 가능한 출처 추적: 이 설계는 명시적으로 소스 수준의 메타데이터와 신뢰도 계층을 유지하여 하류 검토 및 필터링을 위한 감사 가능한 기반을 제공하며, 이를 '블랙박스' 추출 접근법과 구별합니다.

실험 결과
본 연구는 두 가지 벤치마크에 대해 파이프라인을 평가했습니다: 100 개 기업 샘플에 대한 포괄적 전체 텍스트 추출과 상장 기업 하위 집합에 대한 CSMAR 공시 기반 데이터베이스입니다.

• 효율성 대 커버리지 (스니펫 대 전체 텍스트):
  • 전체 텍스트 청킹은 스니펫보다 19.8 배 더 많은 고유 관계를 발견하지만, 251.2 배 더 많은 입력 토큰과 10.3 배 더 많은 HTTP/API 요청이 필요합니다.
  • 전체 텍스트 추출은 스니펫 (39.2%) 에 비해 훨씬 높은 중복률 (71.1%) 을 보입니다.
  • 저자들은 스니펫이 비용 효율적인 '스크리닝 레이어'로 기능하는 반면, 전체 텍스트 처리는 표적화된 심층 추출을 위한 고비용 옵션이라고 결론지었습니다.
• 네트워크 커버리지 (스니펫 대 CSMAR):
  • 상장 기업 하위 집합에서 스니펫 기반 SCKG 는 CSMAR 보다 7.2 배 더 많은 기업과 9.3 배 더 많은 관계를 커버합니다.
  • 전체 네트워크 (비상장 기업 포함) 는 CSMAR 보다 74.2 배 더 많은 기업과 110.5 배 더 많은 관계를 커버합니다.
• 구조적 규칙성:
  • '상위 5 개' 공시 한계로 인해 차수 분포에서 인위적인 절단을 보이는 CSMAR 와 달리, 스니펫 기반 네트워크는 기업 간 거래 네트워크의 경험적 규칙성과 일치하는 무거운 꼬리 (heavy-tailed) 차수 패턴 (멱함수 형태, $\beta \approx -2.17$) 을 보입니다.
  • 이 방법은 비상장이거나 모든 파트너를 공시하지 않기 때문에 공시 기반 데이터셋에서 종종 부재하거나 연결이 약한 고차수 산업 허브 (예: 화웨이, BYD, CATL) 를 성공적으로 식별합니다.
• 신뢰도 필터링:
  • 엄격한 신뢰도 필터 (Tier 13) 를 적용하면 노드와 엣지의 약 4555% 가 제거되지만, 여전히 CSMAR 보다 3.9 배에서 4.3 배 더 큰 네트워크 구조를 유지합니다.
  • 화웨이와 같은 고차수 허브는 가장 엄격한 필터 하에서도 중심성을 유지하여, 그 연결성이 높은 신뢰도를 가진 출처에 의해 뒷받침됨을 시사합니다.

의의 및 주장
이 논문은 스니펫 기반 추출을 구조화된 공시 데이터베이스의 대체물이 아닌 보조 증거 레이어로 위치시킵니다.

• 불투명성 해소: 이 방법은 공시 제약이 있는 데이터셋에서 억제된 긴 꼬리 관계와 고차수 허브를 드러냄으로써 '공급망 불투명성' 문제를 해결합니다.
• 실용적 유용성: 전체 텍스트 추출이 비용적으로 불가능한 10 만 개 이상의 기업에 대한 공급망 위험 분석을 가능하게 하는, 전체 텍스트 추출이 적용되어야 할 우선순위를 분류하는 확장 가능한 접근법을 제공합니다.
• 감사 가능성: 출처 메타데이터를 유지함으로써 생성된 그래프는 사후 검토를 지원하여 연구자들이 소스 신뢰도에 기반하여 검증 우선순위를 설정할 수 있게 합니다.

저자들은 결과 그래프가 완전한 거래 장부가 아닌 '웹에서 가시적인 증거'를 나타낸다고 경고합니다. 그래프에 부재한다는 것이 실제 관계의 부재를 의미하는 것은 아니며, 기밀이거나 전략적으로 민감한 연결고리는 관찰되지 않은 채 남아 있을 수 있습니다. 이 프레임워크는 광범위한 발견과 위험 분석을 위한 도구로 제시되며, 거래의 중요성과 충격 전파는 추가 검증이 필요하다는 주의가 따릅니다.