Quantifying Geospatial in the Common Crawl Corpus

기술 요약: Common Crawl 코퍼스 내 지리공간 데이터의 정량화

문제 제기
대규모 언어 모델 (LLM) 은 거리, 방향, 랜드마크 간 관계와 같은 지리공간 추론에서 새로운 능력을 보여주고 있습니다. 이러한 능력은 주로 Common Crawl(CC) 코퍼스에서 파생된 방대한 레이블 없는 텍스트 데이터셋에 대한 사전 학습에 기인하는 것으로 알려져 있습니다. LLM 의 지리공간 편향이 다양한 지역 및 사회경제적 조건에 따른 성능 차이를 드러내며 조사되어 왔음에도 불구하고, CC 코퍼스 자체 내 지리공간 콘텐츠의 실제 분포와 성격은 여전히 largely 미탐구 상태입니다. 훈련 코퍼스 내 지리공간 데이터의 범위를 정량화하지 않는 한, LLM 의 공간 추론 기원이나 지리적 편향의 잠재적 원인을 완전히 이해하기 어렵습니다.

방법론
저자들은 최근 CC 릴리스 내 지리공간 정보를 포함하는 웹 문서의 비율을 추정하는 방법을 제안하며, 이는 구체적으로 다음과 같이 정의됩니다:

1. 좌표: 위도 - 경도 쌍 또는 그리드 참조 (예: 영국 국가 그리드) 로서, 천문 좌표와 'Null Island'(0,0) 는 제외합니다.
2. 주소: 지리코딩을 통해 점으로 변환될 수 있을 만큼 구체적인 주소로, 주소가 수반되지 않는 단순 랜드마크 언급 (예: "백악관") 은 제외합니다.

본 연구는 5 년에 걸친 세 가지 CC 릴리스 (CC-MAIN-2019-09, CC-MAIN-2021-39, CC-MAIN-2024-10) 에 초점을 맞춥니다. CC 의 규모 (수십억 페이지) 를 고려할 때, 저자들은 과학적으로 타당한 표본 크기인 릴리스당 약 39,900 개의 문서 (총 약 119,700 개 문서) 를 결정하기 위해 코크란 (Cochran) 공식을 기반으로 한 표본 추출 전략을 사용했습니다.

지리공간 콘텐츠를 식별하기 위해 저자들은 긴 컨텍스트 입력 (최대 100 만 토큰) 을 처리할 수 있는 대규모 언어 모델인 Gemini 1.5 Flash를 활용했습니다. 이 선택은 긴 웹 문서를 처리해야 할 필요성과 전통적인 언어별 알고리즘에 비해 이름 개체 인식 (NER) 및 텍스트 분류에서 뛰어난 제로샷 (zero-shot) 성능을 보이는 모델의 특성 때문입니다. LLM 에게 문서에서 좌표와 주소를 추출하도록 프롬프트를 입력했습니다. 정확성을 보장하기 위해 저자들은 수동 검토 과정을 수행했습니다:

• 할루시네이션 확인: Gemini 가 예시를 반환한 100 개의 문서를 무작위 추출하여 해당 데이터가 소스에 실제로 존재하는지 수동으로 검증했습니다.
• 위음성 확인: Gemini 가 "없음 (None)"을 반환한 100 개의 문서를 무작위 추출하여 지리공간 데이터가 누락되지 않았는지 수동으로 검토했습니다.

주요 발견
분석은 Common Crawl 내 지리공간 데이터의 분포에 관한 다음과 같은 정량적 통찰을 도출했습니다:

• 전체 분포: 분석된 CC 릴리스 내 웹 문서의 약 **18.7%**가 지리공간 정보 (주소, 좌표, 또는 둘 다) 를 포함하고 있습니다.
• 세부 내역:
  • 문서의 16.1% 에는 주소가 포함되어 있습니다.
  • 문서의 7.0% 에는 좌표 쌍이 포함되어 있습니다.
  • 문서의 4.3% 에는 둘 다 포함되어 있습니다.
• 상관관계: 주소를 포함한 문서 중 27.1% 에는 좌표도 포함되어 있습니다. 좌표를 포함한 문서 중 62.0% 에는 주소도 포함되어 있습니다.
• 언어 분포: 영어 문서와 비영어 문서 간의 분포 차이는 미미합니다. 영어 문서가 좌표를 포함할 가능성이 약간 더 높습니다 (7.5% 대 6.0%), 반면 비영어 문서가 주소를 포함할 가능성이 약간 더 높습니다 (16.2% 대 15.1%).
• 좌표의 출처: 좌표의 가장 빈번한 출처는 Google Maps URL(하이퍼링크 또는 임베디드 iframe) 입니다. 저자들은 중국, 러시아, 이란과 같은 국가에서 Google Maps 사용이 낮아 비영어 문서에서 좌표 빈도가 낮아지는 데 기여했을 것이라고 지적합니다.
• 파일 유형: 순수 지리공간 파일 (예: .geojson, .kml) 은 코퍼스의 극히 일부 (0.003%–0.004%) 를 차지합니다. 지리공간 데이터의 압도적 다수는 표준 웹 페이지 (HTML/XML) 내에 임베디드되어 있습니다.

의의 및 주장
본 논문은 Common Crawl 내 지리공간 콘텐츠에 대한 최초의 정량적 추정을 제공함으로써 기존 문헌의 중요한 공백을 메웠다고 주장합니다. 저자들은 이 분포를 이해하는 것이 LLM 의 신흥 지리공간 능력과 편향에 관한 완전한 논의를 위한 전제 조건이라고 역설합니다.

저자들이 도출한 주요 함의는 다음과 같습니다:

• LLM 능력 검증: 훈련 코퍼스의 약 19% 가 지리공간 데이터를 포함한다는 발견은 LLM 이 사전 학습 과정에서 공간 지식을 습득한다는 관찰을 뒷받침합니다.
• 편향의 기원: 이 연구는 영어 문서와 .com 최상위 도메인 (TLD) 문서가 CC 에서 불균형적으로 대표됨을 강조합니다. 이러한 불균형은 LLM 이 사전 학습 과정에서 편향된 세계관에 노출될 수 있음을 시사하며, 이는 특정 지리적 편향을 증폭시키고 다른 편향을 침묵시킬 수 있습니다.
• 향후 연구: 저자들은 지리공간 데이터를 포함하는 것으로 추정되는 약 460 억 개의 문서가 지리공간 작업에 대한 LLM 훈련, 미세 조정, 또는 벤치마킹을 위한 도메인별 데이터셋을 생성하는 데 있어 "금광"이라고 제안합니다. 그들은 지리공간 편향을 더 잘 이해하고 완화하기 위해 다양한 지역과 언어에 걸쳐 이 데이터의 정확성과 품질에 대한 추가 연구를 촉구하고 있습니다.