기술 요약: LLM 은 분쟁 모니터링에 준비되어 있는가? 서아프리카의 실증적 증거

문제 제기

인도주의 및 안보 의사결정 파이프라인에 대규모 언어 모델 (LLM) 을 통합하는 것은 그들의 규범적 중립성에 관한 중대한 우려를 제기합니다. LLM 은 분쟁 사건 추출의 자동화 가능성을 제공하지만, 분쟁 모니터링에 적용될 경우 인권 문서화 및 인도주의적 대응을 훼손할 수 있는 체계적 왜곡을 도입할 위험이 있습니다. 구체적으로, 모델 출력이 정치적 폭력의 현실을 충실히 반영하는지, 아니면 국가 행위자를 비국가 행위자보다 우대하는 편향을 도입하거나 합법적인 전투를 민간인 대상 폭력으로 오분류하는지에 대한 실증적 증거가 부족합니다. 본 연구는 서아프리카 (나이지리아와 카메룬) 의 분쟁 데이터에서 범용 모델과 도메인 적응 모델이 어떻게 수행하는지, 특히 체계적 오류, 행위자 기반 선택 편향, 그리고 어휘적 프레임에 대한 민감도에 초점을 맞춰 이해의 공백을 해소합니다.

방법론

본 연구는 2020 년부터 2024 년까지 나이지리아와 카메룬의 분쟁 사건을 포괄하는 금표준 기준인 무장 분쟁 위치 및 사건 데이터 (ACLED) 프로젝트를 활용합니다. 예측 작업은 민간인에 대한 폭력 (V), 전투 (B), 폭발 (E), 시위 (P), 소요 (R), 전략적 발전 (S) 의 6 가지 표준 범주로 다중 분류하는 것을 포함합니다.

평가된 모델:

• 바닐라 오픈 가중치 모델: Gemma 3 4B, Llama 3.2 3B, Mistral 7B, OLMo 2 7B.
• 도메인 적응 모델: 81,104 개의 ACLED 아프리카 분쟁 사건 코퍼스로 미세 조정된 AfroConfliBERT(미세 조정된 ConfliBERT) 와 LoRA 를 통해 미세 조정된 Llama 기반 디코더인 AfroConfliLLAMA.

실험 설계:

• 데이터 처리: 행위자 정규화 (원시 언급을 국가 vs 비국가 행위자로 매핑) 와 균형 잡힌 대표성을 보장하기 위한 계층화 샘플링을 위한 표준화된 파이프라인이 적용되었습니다.
• 평가 지표: 그룹 수준의 공정성을 평가하기 위해 통계적 평등 차이 (SPD) 와 균등한 오즈 (진양성률 및 위양성률 편차) 가 사용되었습니다.
• 반사실적 분석: 어휘적 프레임 (불법화/합법화 구문), 행동 대체, 강도 수정자, 그리고 행위자 대체를 포함한 사건 설명에 통제된 교란이 적용되었습니다. 뒤집기 비율과 신뢰도 변화가 중립적 대조군에 대해 측정되었습니다.
• 오류 추적 프로파일링: 모델 추론이 입력 변경과 일치하는지 아니면 허구적 설명 (confabulation) 인지를 분석하기 위해 Rationale-Flip Concordance (RFC) 와 Layer Integrated Gradients (LIG) 가 사용되었습니다.
• 보정: 예측된 신뢰도를 실증적 정확도와 일치시키기 위해 사후 보정으로 등온 회귀 (isotonic regression) 와 온도 스케일링이 적용되었습니다.

주요 기여

1. ACLED 에 대한 LLM 편향의 체계적 평가: 이 연구는 나이지리아와 카메룬에 대한 표적 분석을 통해 계산 언어학과 실증적 분쟁 연구를 연결하는 분쟁 사건 데이터에 대한 LLM 편향의 첫 번째 포괄적 평가를 제공합니다.
2. 규범적 방향성의 정량화: 이 연구는 모델 오류의 방향성을 엄격하게 정량화하여, 전투를 민간인 대상 폭력으로 오분류하는 "허위 불법화 (False Illegitimation)"와 민간인 대상 폭력을 전투로 오분류하는 "허위 합법화 (False Legitimation)"를 구분합니다.
3. 어휘적 프레임 민감도 분석: 이 연구는 퓨샷 인-컨텍스트 학습 (ICL) 과 특정 어휘적 단서가 규범적 방향성을 어떻게 변화시키는지 평가하여, 바닐라 모델이 의미적 프레임에 매우 취약함을 입증합니다.
4. 오류 추적 및 허구적 설명 분석: RFC 와 LIG 를 사용하여, 바닐라 LLM 이 종종 불충실한 근거 허구적 설명을 통해 규범적 편향을 가리는 반면, 도메인 적응 모델은 다른 귀인 패턴을 보임을 입증합니다.
5. 도메인 적응 모델 도입: 이 논문은 AfroConfliBERT 와 AfroConfliLLAMA 를 도입하여 도메인 적응이 관찰된 편향을 어느 정도 완화하는지 조사하고 잔존하는 한계를 식별합니다.

주요 결과

1. 규범적 방향성의 이분화된 편차

• 바닐라 모델: 통계적으로 유의미한 허위 불법화 편향을 보입니다. 예를 들어, Gemma 는 카메룬에서 합법적인 전투 (B) 의 18.29% 를 민간인 대상 폭력 (V) 으로 오분류한 반면, 허위 합법화 오류는 전혀 발생하지 않았습니다. Llama 도 유사한 패턴 (카메룬에서 10.32%) 을 보였습니다.
• 도메인 적응 모델: AfroConfliBERT 와 AfroConfliLLAMA 는 거의 방향성 중립을 달성하여, 합법화 편향 차이가 통계적으로 0 과 구별되지 않았습니다.

2. 지속되는 행위자 기반 선택 편향

방향성 중립을 달성했음에도 불구하고, 도메인 적응은 행위자 기반 선택 편향을 제거하지 못했습니다.

• 나이지리아에서, 동일한 전술적 맥락에서 국가 행위자는 비국가 행위자보다 모델들 사이에서 36.5% 더 자주 합법화되었습니다.
• Llama 와 같은 바닐라 모델은 나이지리아에서 -0.364 의 통계적 평등 차이 (SPD) 를 보여, 비국가 행위자에 비해 국가 행위자에게 폭력 라벨을 할당할 확률이 36% 이상 낮음을 나타냅니다.
• 심지어 미세 조정된 모델 (AfroConfliBERT/LLAMA) 도 심각한 선택 편향 (SPD 약 -0.31) 을 보였는데, 이는 "국가"를 비폭력 상태와 연관시키는 깊게 내재된 후사적 (posterior) 인식을 시사합니다.

3. 어휘적 프레임에 대한 취약성

• 바닐라 모델: 불법화 구문에 매우 취약합니다. 카메룬에서 "인권 침해"를 삽입하면 66.7% 의 뒤집기 비율이 발생했습니다. 나이지리아에서 "무고한"과 "과도한 무력 사용"과 같은 구문은 각각 21.1% 와 19.3% 의 뒤집기 비율을 유발했습니다.
• 지역적 편차: 어휘적 민감도는 맥락에 의존적입니다. 나이지리아에서 유의미했던 교란은 종종 카메룬에서는 유의미하지 않았고, 그 반대도 마찬가지였습니다.
• 도메인 적응 모델: 모든 교란 카테고리에서 거의 0 에 가까운 뒤집기 비율 (0.0% 에서 약 11%) 을 보여 의미적 변화에 대한 견고성을 입증했습니다.

4. 오류 추적 및 추론

• 허구적 설명: 바닐라 모델은 주어진 근거를 변경하는 경우가 빈번했습니다 (Llama 의 경우 뒤집기의 최대 97.7%). 이는 주입된 교란에 추론을 고정하지 않았음을 의미하며 (Mistral 의 경우 일치율이 8.3% 로 낮음), 불충실한 설명을 나타냅니다.
• 귀인: AfroConfliBERT 의 예측은 주로 핵심 운동 동사 (60%) 에 의해 주도되어 사실적 행동에 대한 의미적 고정을 확인했으나, 40% 는 구두점에 의존하여 부분적인 "클레버 한스" 효과를 시사했습니다.

5. 보정 및 선택적 예측

• 바닐라 LLM 은 보정 없이 상당한 과신 (높은 브라이어 점수) 을 보였습니다. 등온 회귀는 카메룬에서 브라이어 점수를 약 27% 감소시켰습니다.
• 선택적 예측 분석에 따르면, 카메룬에서 80% 이상의 정확도를 유지하기 위해 바닐라 모델은 약 47% 의 사례에서 인간 개입 (human-in-the-loop) 감독이 필요합니다.

중요성 및 주장

이 논문은 현재 LLM 이 분쟁 모니터링을 위한 비지도 배포에 준비되어 있지 않다고 결론 내립니다. 연구 결과는 두 가지 뚜렷한 실패 모드를 강조합니다:

1. 방향성 편향: 바닐라 모델은 전투를 민간인 대상 폭력으로 오분류함으로써 국가 행위자를 체계적으로 불법화합니다.
2. 어휘적 취약성: 범용 모델은 사실적 사건 내용보다 피상적인 프레임 단서에 의존하여 전략적 어휘 삽입을 통한 조작에 취약합니다.

도메인 적응 (AfroConfliBERT/LLAMA) 은 방향성 편향과 어휘적 취약성을 상당 부분 완화하지만, 행위자 기반 선택 편향을 해결하지는 못합니다. 저자들은 어떤 아키텍처도 현재 방향성 중립, 행위자 기반 공정성, 그리고 어휘적 견고성을 동시에 조화시키지 못한다고 주장합니다.

이 논문은 다음 세 가지 증거 기반 개입을 요구합니다:

1. 공정성 인식 미세 조정: 도메인 적응 alongside 행위자 기반 평등을 명시적으로 최적화합니다.
2. 강제적 적대적 견고성 평가: 뒤집기 비율을 탐지하기 위해 배포 전 어휘 조작에 대한 테스트를 수행합니다.
3. 맥락별 인간 개입 감독: 지역적 난이도에 맞춰 보정하며, 견고한 모델조차도 카메룬과 같은 복잡한 분쟁 지역에서 상당수의 사례에 대해 인간 검토가 필요함을 인정합니다.

이 연구는 편향 수정 없이 이러한 모델에 의존하는 것이 국가 주도 폭력을 축소하고 비국가 행위자의 폭력 프로필을 과장하는 데이터를 생산할 위험이 있으며, 이는 분쟁 영향 지역 주민들의 자원 배분 및 보호 결정에 직접적인 영향을 미친다고 강조합니다.