Validity of LLMs as data annotators: AMALIA on authority

기술 요약: 데이터 주석가로서의 LLM 타당성

문제 제기
본 논문은 사회과학 연구를 위한 데이터 주석가로서 대규모 언어 모델(LLM)을 평가할 때 발생하는 결정적인 공백을 다룬다. 포르투갈의 AMALIA와 같은 국가적 "주권적(sovereign)" LLM이 지역 텍스트 분석을 위해 점점 더 많이 배치되고 있음에도 불구하고, 이들에 대한 평가는 역사적으로 신뢰도(인간 코더와의 일치도)에 의존해 왔으며, 구성 타당도(측정하고자 하는 구성 개념의 이론적 정의에 대한 충실성)에는 미치지 못했다.

핵심 문제는 LLM과 인간 주석가 사이의 높은 일치도가 모델이 의도한 이론적 구성을 측정하고 있음을 보장하지 않는다는 점이다. 대신, 모델은 "표면적 상관관계(surface correlates)"나 지름길(예: 이론에서 요구하는 위계에 대한 특정 입장이 아니라, 권위자 근처에서의 도덕적 분노를 탐지하는 것)을 통해 일치도를 달성하고 있을 수 있다. LLM은 블랙박스이기 때문에, 표준적인 일치도 지표는 진정한 추론과 가짜 상관관계를 구분할 수 없다. 이는 특히 주권적 모델의 경우, 현지 데이터와 언어로 학습된 모델이 해당 공동체를 위한 더 우수한 측정 도구 역할을 자연스럽게 수행할 것이라는 가정이 깔려 있는 상황에서 매우 시급한 문제이다.

방법론
본 연구는 홀리스틱(holistic)한 일치도를 넘어 측정 도구의 타당성을 테스트하기 위해, LLM의 추론 경로를 조사하는 입도 교정(grain calibration) 방법을 채택한다.

1. 구성 개념 및 코퍼스: 본 연구는 도덕적 기초 이론(Moral Foundations Theory)의 "권위/전복(authority/subversion)" 도덕적 기초에 초점을 맞춘다. 데이터셋은 도덕적 기초 레딧 코퍼스(MFRC)에서 추출하여 엄격한 "트랜스크리에이션(transcreation)" 파이프라인을 통해 유럽 포르투갈어(pt-PT)로 재창조된 748개의 텍스트로 구성된다. 이 파이프라인은 의미, 입장, 참조 대상은 유지하면서 관용구와 격식을 적응시키며, 코드 누출을 방지하기 위해 블라인드 생성 및 인간 검증 과정을 거친다.
2. 모델: 주요 대상은 유럽 포르투갈어용 90억 파라미터 모델인 AMALIA-9B이다. 이를 두 개의 더 큰 오픈 웨이트 다국어 모델인 Llama-3.3-70B 및 GPT-OSS-120B와 비교한다.
3. 회복 격차 ($\Delta$): 핵심 지표는 $\Delta = F^u_1 - F^d_1$로 정의되는 "회복 격차(recovery gap)"이다.
   • $F^u_1$: 미분해(undecomposed) 프롬프트(전체론적 지시)의 성능(F1 점수).
   • $F^d_1$: 구성 개념을 원자적 절(탐지, 구별, 평가)로 나누고 이론에서 유도된 엄격한 불리언(Boolean) 통합 규칙을 통해 재결합한 분해된(decomposed) 프롬프트의 성능.
   • $\Delta \approx 0$은 모델이 이론에 정의된 대로 구성을 측정함을 나타낸다. 큰 $\Delta$는 모델이 이론에 명시되지 않은 지름길에 의존하고 있음을 나타낸다.
4. 실험 설계: 본 연구는 포르투갈어 코퍼스에 대해 영어 및 포르투갈어 지시어를 모두 사용하여 AMALIA를 테스트한다. 동일한 코퍼스에 대한 참조 모델들의 결과와 원래의 영어 코퍼스에 대한 참조 모델들의 결과를 비교한다. 연구는 사전 등록되었으며, 확증적 테스트를 위해 고정된 가설을 448개의 홀드아웃(held-out) 텍스트 세트에 적용하였다.

주요 결과

1. AMALIA의 높은 신뢰도, 낮은 타당도: AMALIA는 인간 주석가와 높은 일치도(Holistic $F_1 \approx 0.71$)를 보이며, 이는 자신보다 8~13배 큰 모델들과 대등한 수준이다. 그러나 큰 회복 격차($\Delta \approx 0.36$ [포르투갈어 지시어], $\Delta \approx 0.44$ [영어 지시어])를 나타낸다. 이는 분해된 프롬프트가 AMALIA의 전체론적 성능 중 약 절반만을 회복한다는 것을 의미한다.
2. 표면 상관관계 vs. 이론: 오류 분석 결과, AMALIA의 거짓 양성(false positives)은 주로 권위자 근처의 "일반적인 도덕적 분노"나 단순히 권위자의 존재와 같은 표면적 상관관계에 의해 유발되었다. 거짓 양성의 78%에서 모델은 구성 개념의 이론적 정의가 아닌 표면적 기반에 의존했다.
3. 모델 특이적 실패: 이 실패는 코퍼스나 언어가 아닌 AMALIA 모델 특유의 문제이다.
   • GPT-OSS-120B는 포르투갈어 코퍼스에서 격차를 좁혔다 ($\Delta \approx 0.03$). 이는 영어 결과와 유사한 수준이다.
   • Llama-3.3-70B는 중간 정도의 격차($\Delta \approx 0.12$)를 보였는데, 이는 영어 성능보다는 크지만 AMALIA보다는 현저히 작다.
   • 이는 문제가 "구성 개념-모델 도구"(구체적으로 9B 모델의 이론적 입도(grain) 실행 능력)에 관한 것이지, 포르투갈어 언어나 트랜스크리에션된 코퍼스의 문제가 아님을 시사한다.
4. 지시어 언어: 포르투갈어 지시어가 격차를 좁힐 것이라는 가설은 통계적으로 지지되지 않았다 ($\Delta_{pt} = 0.358$ vs. $\Delta_{en} = 0.436$; 차이에 대한 신뢰 구간에 0이 포함됨). 결과의 방향성은 가설과 일치했으나 유의미하지 않았다.

주요 기여

• 구성 타당도의 조작화: 본 논문은 LLM의 신뢰할 수 있는 일치와 유효한 측정을 구분하는 진단 도구로서 "회복 격차"를 도입하고 적용한다. 이는 일치도만으로는 LLM을 과학적 도구로서 검증하기에 불충분함을 입증한다.
• 주권적 모델 평가: 국가적 LLM(AMALIA)을 모국어로 수행한 최초의 타당도 연구를 제공하며, "모국어" 모델이 자동으로 우월한 측정 타당성을 갖는다는 가설에 도전한다.
• 트랜스크리에이션 파이프라인: 구성 검증을 위한 교차 언어 코퍼스를 생성하는 엄격하고 사전 등록된 파이프라인을 상세히 설명하며, 코드 전이가 가정이 아닌 검증을 통해 정당화됨을 보장한다.
• 세밀한 오류 분석: 프롬프트를 원자적 절로 분해함으로써, 전체론적 지표가 은폐하는 구체적인 실패 모드(예: 권위를 대리하는 도덕적 분노에 대한 의존)를 식별한다.

의의 및 주장
본 논문은 AMALIA가 신뢰할 수 있는 주석가(인간의 합의와 일치하는 코드를 생성함)이지만, 권위라는 이론적 구성을 측정하는 데 있어 타당한 도구는 아니라고 결론짓는다. 모델은 이론적 정의에 요구되는 추론을 수행하는 대신 표면 패턴에 의존하여 "틀린 이유로 맞는" 코드를 생성한다.

저자들은 주권적 LLM 프로그램이 측정 작업에 신뢰받기 위해서는 단순한 일치도 지표를 넘어서야 한다고 주장한다. 결정적인 질문은 모델이 인간과 일치하느냐가 아니라, 이론에 정의된 구체적인 추론 단계를 실행함으로써 자신의 작업 과정을 "보여줄 수 있는가"이다. 본 연구는 소규모 국가 모델이 재교정 없이 복잡한 이론적 분해를 수행할 수 있는 "실행 가능한 입도(executable grain)"가 부족할 수 있음을 시사하며, 타당도 증거는 일반적인 언어 벤치마크가 아닌 특정 측정 용도에 따라 생성되어야 한다고 명시한다. 본 논문은 AMALIA가 분류(triage) 및 사전 코딩(pre-coding)에는 적합하지만, 이론적 구성의 독립적인 측정에는 적합하지 않다고 명시한다.