기술 요약: 대규모 언어 모델(LLM)을 통한 개인 기록 기반 인종/민족 정보의 자연스러운 복구

문제 정의

인종, 민족, 카스트, 종교 종파에 관한 개인 수준의 데이터는 사회과학 연구에 매우 중요하지만, 행정 기록에는 누락되어 있는 경우가 많습니다. 연구자들은 성(surname)과 지리적 데이터를 사용하여 이러한 정체성을 추론하기 위해 **베이지안 개선 성씨 지오코딩(Bayesian Improved Surname Geocoding, BISG)**에 의존하곤 합니다. 그러나 BISG는 다음과 같은 근본적인 한계가 있습니다:

1. 데이터 의존성: 미국 이외의 지역에서는 존재하기 어려운 특정 훈련 데이터(예: 미국의 성씨-인종 분포)를 필요로 합니다.
2. 범주적 경직성: 공식적인 미국 인구조사 범주에 국한되어 있어, 종교 종파, 카스트 또는 비미국계 민족 그룹을 연구하는 데 부적합합니다.
3. 정보 손실: 일반적으로 성(surname)만을 활용하며, 잠재적으로 유익한 정보가 담긴 이름(first name)과 중간 이름(middle name)을 버립니다.
4. 사회경제적 편향: BISG는 부유한 동네에 거주하는 유색인종을 백인으로 오분류하는 경향이 있어, 후속 분석에 내생성(endogeneity) 문제를 야기합니다.

방법론

본 논문은 라벨링된 훈련 데이터 없이도 이름과 선택적 메타데이터를 사용하여 민족을 직접 추론하는 **대규모 언어 모델(LLM)**의 활용을 제안합니다. 접근 방식은 다음과 같습니다:

• 프롬프팅(Prompting): 이름과 위치를 바탕으로 특정 맥락의 범주(예: 미국의 인종 그룹, 레바논의 종교 종파, 인도의 카스트)로 분류하도록 요청하는 제로샷(zero-shot) 프롬프트를 구성합니다.
• 테스트 모델: 독점 모델(Gemini 3 Flash, GPT-4o, GPT-4.1-mini)과 오픈 소스 대안(DeepSeek v3.2, GLM-4.7, GLM-4.7-Flash)을 포함한 6개의 모델을 평가했습니다.
• 검증 전략:
  • 개인 수준 (미국): 자가 보고된 인종 정보가 포함된 플로리다 및 노스캐롤라이나 유권자 파일의 층화 표본을 사용했습니다.
  • 개인 수준 (국제): 레바논 유권자 명부(종교 종파), 지정된 선거구의 인도 국회의원(Scheduled Castes/Tribes), 인도 토지 기록(카스트)을 사용했습니다.
  • 집계 수준: 원래의 전체 카운트 유권자 명부를 사용하여 인도, 우간다, 네팔, 아르메니아, 칠레, 코스타리카의 인구 통계 분포를 추론된 민족 분포와 비교했습니다.
  • 스케일링: LLM이 생성한 라벨을 바탕으로 소형 트랜스포머 모델(Qwen3)을 미세 조정(fine-tuning)하는 지식 증류(knowledge distillation) 실험을 수행했습니다.
  • 특징 분석: 추가 메타데이터(연령, 정당 등록, 성별, 우편번호)와 "추론(reasoning)" 모드의 영향을 테스트했습니다.

주요 결과

1. 정확도 vs. BISG (미국)
플로리다와 노스캐롤라이나의 균형 잡힌 층화 표본에서, LLM 기반 분류는 BISG보다 성능이 크게 뛰어났습니다:

• Gemini 3 Flash는 플로리다에서 83.8%, 노스캐롤라이나에서 **83.5%**의 정확도를 달-성했습니다.
• BISG(성 + 카운티)는 각각 **68.2%**와 **68.9%**를 기록했습니다.
• 재현율(Recall) 개선: LLM은 소수 집단에 대해 상당한 이득을 보였습니다. 흑인 유권자의 경우, 재현율이 약 49%(BIS de BISG)에서 약 81%(Gemini)로 향상되었습니다. 히스패닉 유권자의 경우 플로리다에서 재현율이 90%를 넘어섰습니다.
• 입력 민감도: 이름(first name)을 제거했을 때 정확도가 8.7%포인트 감소하여, 성(surname) 외에도 전체 이름이 중요한 인구통계학적 신호를 전달함을 확인했습니다.

2. 국제 및 교차 범주 성능

• 레바논 (종교 종파): Gemini 3 Flash는 **64.3%**의 전체 정확도를 달성했습니다. 고유한 명명 관습을 가진 집단(예: 아르메니아 정교회 97.4%, 시아파 86.4%)에서는 높은 성능을 보였으나, 중첩되는 집단(로마 가톨릭/정교회)에서는 낮은 성능을 보였습니다.
• 인도 (카스트):
  • 국회의원(MPs): Gemini 3 Flash는 이름만으로 지정 카스트(Scheduled Castes, SC)와 지정 부족(Scheduled Tribes, ST)을 구분하는 데 **99.2%**의 정확도를 보였습니다.
  • 토지 기록/사르판치(Sarpanch): 정확도는 지역에 따라 차이가 났으며(비하르 74.0% vs. 라자스탄 57.0%), 이는 현지 명명 관습에 명시적인 카스트 표식이 존재하는 정도와 상관관계가 있었습니다.
• 집계 검증: 명명 관습이 뚜렷한 국가(인도, 아르메니아)에서 LLM은 인구 분포를 높은 충실도로 복구했습니다(예: 인도의 힌두교/이슬람교 비율이 센서스 데이터와 0.5%포인트 이내로 일치). 명명 관습이 크게 중첩되는 곳(예: 코스타리카의 원주민)에서는 성능이 저하되었습니다.

3. 메타데이터 및 추론의 영향

• 메타데이터: 프롬프트에 정당 등록 정보를 추가했을 때 플로리다에서의 정확도가 2.0%포인트 증가(86.7%)했습니다. 연령은 미미한 이득(+0.3%p)을 주었으며, 성별과 세밀한 지리 정보(우편번호)는 개선 효과가 없거나 오히려 성능을 저하시켰습니다.
• 추론(Reasoning): "확장 추론" 모드를 활성화한 결과는 엇갈렸습니다. 소형 모델(예: Qwen 8B +3.4%p in Florida)의 정확도는 높였으나, 대형 모델에서는 미미하거나 부정적인 효과를 보였으며, 추론 시간과 토큰 비용을 크게 증가시켰습니다.

4. 스케일링 및 비용
LLM이 생성한 라벨 데이터(n=1,200)를 사용하여 소형 모델(예: Qwen3-1.7B)을 미세 조정함으로써, API 비용 없이도 "교사(teacher)" 모델(Gemini)에 근접하는 정확도를 구현하고 BISG(플로리다 기준 76.2%)를 능가하는 성능(79.7%)을 확보할 수 있었습니다.

5. 소득 편향 완화
본 연구는 BISG의 흑인 유권자 오분류율이 이웃 소득과 양의 상관관계가 있다는 기존 연구 결과를 재현했습니다(부유한 지역일수록 백인으로 오분류될 확률이 높음). 반면, LLM 분류는 오분류율과 이웃 소득 사이에 통계적으로 유의미한 관계를 보이지 않았으며, 이는 LLM이 BISG와 같은 편향된 지리적 사전 확률(geographic priors)에 의존하지 않음을 시사합니다.

의의 및 주장

본 논문은 LLM이 다음과 같은 특징을 가진 BISG의 실행 가능하고 유연한 대안이라고 주장합니다:

1. 라벨링된 훈련 데이터가 필요하지 않아, 센서스 성씨-지리 분포가 없는 국가에서도 적용이 가능합니다.
2. 임의의 분류 체계를 지원하여, 연구자들이 공식적인 행정 정의에 얽매이지 않고 종교 종파, 카스트 및 비미국계 민족 범주를 연구할 수 있게 합니다.
3. 전체 이름 정보(이름 및 중간 이름)와 다양한 메타데이터(예: 정당 등록)를 활용합니다.
4. BISG와 같은 지리적 사전 확률 기반 방식에 내재된 체계적인 사회경제적 편향을 줄입니다.
5. 현지에서의 저비용 배포를 가능하게 합니다. 이는 LLM 생성 라벨을 통한 소형 오픈 소스 모델의 미세 조정을 통해 실현됩니다.

저자들은 성능이 맥락(명명 관습의 뚜렷함)에 따라 달라질 수 있지만, 이 방법론이 전통적인 추론 방식이 적용 불가능한 글로벌 맥락에서 민족 정치(ethnic politics)를 연구할 수 있는 새로운 가능성을 열어준다고 결론짓습니다.