Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders

기술 요약: Natural Language Autoencoder를 이용한 Qwen2.5-7B의 잠재적 콜로비아 정체성 추론 탐색

문제 정의
대규모 언어 모델(LLM)은 명시적인 속성이 언급되지 않더라도 미묘한 언어적 단서로부터 국적, 방언, 사회경제적 지위와 같은 인구통계학적 속성을 추론하는 것으로 알려져 있다. 지시 미세 조정(instruction-tuned)된 모델들은 명시적인 인구통계학적 질의에는 답변을 거부하는 경우가 많지만, 추론된 속성에 기반하여 출력을 생성하므로 편향된 결과로 이어지곤 한다. 이러한 현상은 저평가된 스페인어 변이체에서 특히 두드러지는데, 예를 들어 콜롬비아 스페인어는 디지털 자원량의 차이가 아니라 학습 데이터 구성의 차이로 인해 펜인술라(Peninsular) 스페인어에 비해 인식 벤치마크 점수가 현저히 낮게 나타난다.

인구통계학적 추론이 발생한다는 증거에도 불구하고, 모델이 출력을 언어화하기 전에 내부적으로 무엇을 표현하고 있는지 조사하는 연구는 부족하다. 특히, 모델이 다른 국적(예: 러시아)을 추론하는 것과 동일한 방식으로 프롬프트 내의 암시적 단서로부터 콜롬비아 정체성을 추론하는지 여부는 아직 밝혀지지 않았다. 본 연구는 선형 프로브(linear-probe) 연구(인구통계학적 추론의 존재를 보여줌)와 편향 감사(bias-audit) 연구(그러한 추론의 해악을 보여줌) 사이의 간극을 메우고자 하며, 비지도 학습 기반의 훈련 불필요(training-free) 접근 방식을 사용하여 간접적인 단서로부터 콜롬비아 정체성 추론이 언제 발생하는지를 국지화하는 것을 목표로 한다.

방법론
저자들은 잔차 스트림(residual-stream) 활성화를 언어화하기 위해 Fraser-Taliente 등[2026]이 공개한 오픈 소스 쌍인 Natural Language Autoencoders(NLA)를 사용한다. 본 연구에는 Qwen2.5-7B-Instruct 모델을 활용한다.

• 데이터 설계: 데이터셋은 15개의 매칭된 스페인어-영어 쌍으로 구성된 30개의 프롬프트로 이루어져 있다. 이들은 세 가지 명시성 수준($n=5$ per level)으로 분류된다:
  • 명시적(Explicit): 명확한 콜롬비아 표식 포함 (양성 대조군).
  • 암시적(Implicit): 단 하나의 미묘한 단서 포함 (이전 연구의 "보드카" $\to$ "러시아" 사례와 유사).
  • 중립적(Neutral): 주제는 일치하나 국가 표식은 제거됨 (음성 대조군).
• 활성화 추출: 저자들은 NLA가 훈련된 깊이인 레이어 20($\ell=20$)에서 잔차 스트림 활성화를 추출한다. 각 프롬프트에 대해 토큰 시퀀스를 네 개의 연속적인 위치 사분위수(positional quartiles)로 나눈다. 각 사분위수의 마지막 토큰 활성화($q_1, q_2, q_3, q_4$)를 선택하여 프롬프트당 네 개의 별도 벡터를 얻는다.
• 언어화(Verbalization): 각 활성화 벡터는 NLA의 언어화기(AV)를 한 번 통과하여 자연어 설명($z_k$)을 생성한다. 이로 인해 프롬프트당 네 개의 설명이 생성된다.
• 분석: 생성된 120개의 설명(30개 프롬프트 $\times$ 4개 사분위수)은 Claude Sonnet LLM을 통해 국적, 사회경제적 지위, 고정관념 언급 여부를 코딩한다. 코딩은 반드시 명시적인 텍textual 증거와 축약 인용구를 요구한다. 일반적인 국적 환각(confabulation)과 특정 콜롬비아 정체성을 구분하기 위해, 저자들은 콜롬비아를 직접 명시하거나 명확한 환유(metonym, 예: Bogotá, TransMilenio)를 태깅한다.
• 통계적 접근: 작은 샘플 크기($n=5$ per cell)를 고려하여, 연구는 Wilson score interval을 사용하여 기술적 비율을 보고하며, Implicit 대 Neutral 비교를 위해 Fisher's exact test를 사용한다. 또한, 온셋(onset) 분포에 "발생하지 않는" 사례를 임의로 대입하지 않고, 그 부재 자체를 유의미한 데이터로 취급한다.

주요 결과

• 잠재적 추론의 발현: 암시적(Implicit) 그룹의 경우, AV 설명 내 국적 언급 비율이 사분위수에 따라 단조 증가한다 (Q1의 0.10에서 Q4의 0.78까지). 이는 맥락 축적 가설(context-accumulation hypothesis)을 뒷받침한다.
• 콜롬비아 특화 발견: (스페인, 터키, 캐나다 등의 환각을 제외한) 콜롬비아 특정 언급으로 제한했을 때, 중립적(Neutral) 대조군은 모든 사분위수에서 0.00을 유지한다. 반면, 암시적(Implicit) 그룹은 Q2(0.10)부터 콜롬비아 관련 언급이 나타나기 시작하여 Q4까지 증가한다.
• 표현의 타이밍: 언급을 유발하는 프롬프트들에 대해, 첫 언급의 평균 사분위수는 그룹 간에 유사하다(약 Q3). 그러나 언급을 유발하는 빈도는 크게 다르다. Explicit 그룹은 10/10 케이스에서, Implicit 그룹은 8/10 케이스에서 언급을 유발하며, Neutral 그룹은 6/10 케이스에서 유발한다.
• 통계적 유의성: Implicit 그룹과 Neutral 그룹을 비교한 Fisher's exact test 결과, 마지막 사분위수(Q4, $p=0.023$)에서만 통계적으로 유의미한 차이가 나타났다. 저자들은 작은 샘플 크기와 다중 비교 교정의 부재를 고려하여, 이를 확증적 효과라기보다는 방향성 있는 증거로 해석한다.
• 교차 언어적 분기: 중립적 프롬프트의 질적 분석 결과, 모델의 내부 맥락화는 언어에 따라 달라진다. 스페인어 프롬프트는 이주 취약성이나 지역적 맥락(예: EPS, TransMilenio)을 유발하는 경향이 있는 반면, 영어 프롬프트는 맥락을 국제화하거나(예: 캐나다 또는 미국 기준으로 전환) 특정 문화적 참조를 일반적인 글로벌 프레임워크로 희석하는 경향이 있다.

기여 및 주장
본 논문은 다음과 같은 완곡한 기여를 주장한다:

1. 방법론적 적용: Natural Language Autoencoder를 사용하여 스페인어 변이체의 잠재적 국적 추론을 탐색함으로써, 다른 언어에 집중했던 기존 연구를 확장하여 적용 가능성을 입증했다.
2. 언어화되지 않은 추론의 증거: Qwen2.5-7B-Instruct가 단 하나의 암시적 어휘 단서로부터 모델의 출력에서 정체성이 언어화되기 전에 내부적으로 콜롬비아 정체성을 표현한다는 방향성 있는 증거를 제공한다.
3. 실패 모드 식별: NLA가 그럴듯하지만 맥락상 틀린 국적을 환각하는(예: 콜롬비아 대신 스페인을 대입) 특정 실패 모드를 강조한다. 저자들은 향후 지역 정체성 프로브를 완화하기 위한 특정 필터링 메커니즘(콜롬비아 특정 환유 확인)을 제안한다.
4. 언어별 편향: 중립적 프롬프트에 대한 모델의 내부 맥락화가 언어 의존적이라는 질적 증거를 제공한다. 즉, 스페인어는 지역적/이주 관련 편향을 유발하는 반면, 영어는 국제화되거나 미국 중심적인 정상화 과정을 유발한다.

의의
저자들은 본 연구를 미저평가된 스페인어 변이체를 위해 활성화 수준의 해석 가능성과 편향 평가를 연결하는 파일럿 연구로 규정한다. 저자들은 결정적이고 통계적 검증력을 갖춘 효과를 증명했다고 주장하는 것이 아니라, 잠재적 추론이 언제 그리고 어떻게 발생하는지를 탐지하는 방법론적 경로를 구축했음을 강조한다. 본 연구의 의의는 명시적인 인구통계학적 질의가 거부될 때에도 맥락화된 표현 속에 편향이 지속된다는 관찰과, 비지도 언어화기를 통해 이러한 추론을 특정 레이어와 위치 사분위수로 국지화할 수 있다는 점에 있다. 저자들은 다음 단계로서, 관찰된 후기 사분위수(late-quartile)의 분리가 테스트된 특정 깊이의 특성인지 아니면 일반적인 현상인지를 결정하기 위해 더 큰 샘플 크기와 다양한 잔차 스트림 레이어를 사용하여 이 설계를 재현해야 한다고 결론짓는다.