Do We Still Need Humans in the Loop? Comparing Human and LLM Annotation in Active Learning for Hostility Detection
이 논문은 독일어 정치성 TikTok 댓글의 적대감 탐지 연구에서, 인간 라벨링보다 비용 효율성이 높고 성능이 유사한 LLM 주석 전략이 제안되었으나, LLM 기반 분류기는 모호한 맥락에서 인간 기준과 다른 오류 패턴 (과다 긍정 예측) 을 보인다고 요약할 수 있습니다.
이 연구는 독일 정치인들의 틱톡 댓글 수만 개를 분석했습니다. 여기서 중요한 건 **"이 댓글이 이민자를 싫어하는 혐오 발언인가, 아니면 이민 정책에 대한 비판인가?"**를 구분하는 일이었습니다. 이 구분은 매우 미묘해서, 사람들도 의견이 갈리는 경우가 많죠.
연구진은 두 가지 방식을 비교했습니다.
수제 방식 (Human-in-the-loop): 전문가들이 직접 댓글을 읽고 하나하나 분류합니다. (비싸고 느림)
공장 방식 (LLM Annotation): AI 가 짧은 명령어만 받고 수만 개의 댓글을 순식간에 분류합니다. (싸고 빠름)
그리고 여기에 **'적극적 학습 (Active Learning)'**이라는 기술을 섞어봤습니다. 이는 "가장 헷갈리는 댓글만 골라 사람이 분류하게 하면, 적은 비용으로 좋은 모델을 만들 수 있다"는 아이디어입니다.
🔍 2. 실험 결과: 누가 더 잘할까?
연구진은 7 가지 다른 시나리오를 만들어 실험했습니다. 결과는 다음과 같습니다.
🏆 비용과 성능의 대결
인간이 직접 3,800 개를 분류한 경우: 비용은 약 $316 (약 42 만 원). 성능은 꽤 좋았습니다.
AI 가 25,974 개 (약 7 배 더 많음) 를 분류한 경우: 비용은 약 $43 (약 5 만 원).
결과: 놀랍게도, AI 가 7 배 더 많은 데이터를 1/7 비용으로 처리했을 때, 인간이 적은 데이터를 처리한 것과 거의 같은 성능을 냈습니다.
비유: 비싼 수제 피자가 10 개 있는 것보다, 저렴한 공장식 피자가 70 개 있는 것이 배불리게 먹기엔 더 나을 수 있다는 뜻입니다.
🤔 '적극적 학습'은 쓸모가 있을까?
연구진은 "AI 가 미리 좋은 댓글들만 골라주면, 인간이 그중에서 헷갈리는 것만 골라 분류하면 더 효율적이지 않을까?"라고 생각했습니다.
결과: 아니었습니다. 이미 AI 가 좋은 데이터만 골라낸 상태에서는, 인간이 '적극적 학습'을 통해 추가적인 이득을 보지 못했습니다. 그냥 무작위로 골라도 비슷했습니다.
비유: 이미 요리사가 최고의 재료만 선별해 둔 냉장고에서, 셰프가 "이 재료만 더 골라야 해?"라고 고민하는 것과 같습니다. 이미 재료가 좋다면, 그냥 다 쓰거나 무작위로 골라도 맛이 비슷합니다.
⚠️ 3. 하지만 숨겨진 함정이 있습니다 (중요!)
성능 점수 (F1 점수) 만 보면 AI 가 인간과 비슷하거나 더 나을 수도 있습니다. 하지만 실제 오류의 종류를 보면 큰 차이가 있습니다.
인간의 오류: "이건 혐오 발언인가?"를 고민하다가 **잘못된 것을 '혐오가 아니다'라고 넘기는 경우 (False Negative)**가 많았습니다. 즉, 혐오 발언을 놓치는 경향이 있습니다.
AI 의 오류: AI 는 **'혐오가 아니다'를 '혐오다'라고 잘못 판단하는 경우 (False Positive)**가 압도적으로 많았습니다.
비유: 인간은 "이게 정말 나쁜 말일까? 아니면 그냥 농담일까?"라고 고민하다가 넘어가는 반면, AI 는 "이게 조금이라도 이민자 관련 부정적인 말 같으면 무조건 혐오다!"라고 과잉 반응합니다.
🎭 왜 이런 차이가 생길까?
이유는 분류 기준의 차이 때문입니다.
인간: "이민자라는 주제 (Q1)"와 "부정적인 태도 (Q2)"를 단계별로 나누어 꼼꼼히 따집니다. "이민 정책 비판"과 "이민자 혐오"를 명확히 구분하려 노력합니다.
AI: 한 번에 통째로 판단합니다. "이민자 관련 부정적인 말"이 나오면, 그것이 정책 비판인지 사람에 대한 공격인지 구분하기보다 넓게 잡아서 혐오로 분류하는 경향이 있습니다.
실제 사례:
"우리는 사람들이 있는 그대로 받아들이지, 그들이 되어야 하는 대로 받아들이지는 않는다. (리트쿨투르)"
이 말은 독일의 유명한 정치 구절을 비꼬는 것일 수도 있고, 이민자를 받아들이는 태도를 조롱하는 것일 수도 있습니다.
인간: 문맥과 아이러니를 파악해 "정책 비판"이나 "농담"으로 분류할 가능성이 높습니다.
AI: "리트쿨투르 (주류 문화)"와 "이민자"가 함께 나오니 무조건 "혐오 발언"으로 분류해 버립니다.
💡 4. 결론: 우리는 여전히 인간이 필요할까?
이 논문의 결론은 **"상황에 따라 다르다"**입니다.
예산이 부족하고, 전체적인 통계만 중요할 때:
AI 가 압승입니다. 인간이 분류하는 것보다 훨씬 싸고 빠르며, 전체적인 성능도 비슷합니다. 특히 수만 개의 데이터를 다뤄야 할 때 AI 가 유용합니다.
오류의 종류가 치명적일 때:
만약 "혐오 발언을 놓치는 것"보다 "무고한 사람을 혐오 발언자로 오인하는 것"이 더 큰 문제라면 (예: 언론 보도나 법적 판단), AI 는 위험할 수 있습니다. AI 는 너무 예민하게 반응해서 innocent 한 사람들을 잘못 걸러낼 수 있기 때문입니다.
이럴 때는 인간의 판단이 필수입니다. 특히 미묘한 뉘앙스나 문화적 맥락이 중요한 경우, AI 는 여전히 인간을 대체할 수 없습니다.
📝 한 줄 요약
"AI 는 값싸고 빠른 '대량 생산'에는 훌륭하지만, 미묘한 뉘앙스를 구별하는 '정교한 요리'에는 여전히 인간의 손길이 필요합니다. 목적에 따라 (비용 절감 vs 정밀한 판단) 누구를 선택할지 결정해야 합니다."
1. 연구 배경 및 문제 정의 (Problem)
배경: 자연어 처리 (NLP) 에서 주석 (Annotation) 데이터는 여전히 병목 현상입니다. 최근 지시 튜닝 (Instruction-tuned) 된 대규모 언어 모델 (LLM) 은 적은 비용으로 수천 개의 인스턴스를 주석할 수 있게 되었습니다.
핵심 질문:
활성 학습 (Active Learning, AL) 루프 내에서 인간 주석을 LLM 주석으로 대체할 수 있는가?
전체 코퍼스를 한 번에 주석할 수 있게 되었을 때, 여전히 활성 학습이 필요한가?
도전 과제: 독일어 정치 TikTok 댓글에서 '이민자에 대한 적대감 (Anti-immigrant hostility)'과 '이민 정책 비판 (Policy critique)'을 구분하는 것은 매우 까다롭습니다. 이는 문화적 맥락과 미묘한 뉘앙스를 요구하며, 주석 출처 (인간 vs LLM) 에 따라 라벨링 경계가 달라질 수 있습니다.
2. 방법론 (Methodology)
2.1 데이터셋 구축
데이터 소스: 독일 주요 6 개 정당 (CDU/CSU, SPD, AfD 등) 의 공식 TikTok 계정에서 2024 년 1 월~2025 년 9 월까지 수집된 467,660 개의 댓글.
전처리: 중복 제거, 이모지/빈 텍스트 제거, GlotLID 를 통한 독일어 필터링 등을 거쳐 277,902 개의 독일어 댓글로 정제.
LLM 기반 풀 (Pool) 구성:
1 단계 (Topic Prefiltering): Llama-3.3-70B 를 사용하여 이민 관련 댓글 25,974 개를 선별 (전체의 9.3%).
2 단계 (Annotation): GPT-5.2 를 사용하여 해당 25,974 개 댓글에 대해 'ANTI-IMMIGRANT' 또는 'NOT ANTI-IMMIGRANT' 라벨링 수행.
인간 주석: 선별된 풀 중 5,000 개를 추출하여 6 명의 크라우드 워커가 주석. 이 중 1,200 개는 다중 주석 (Gold Standard) 으로 평가용, 3,800 개는 훈련용으로 사용.
주석 프레임워크: 직접 라벨링 대신 2 단계 질문 (Q1: 이민 관련성, Q2: 부정적 묘사) 을 통해 라벨을 유도하여 인간 주석자의 판단 오류를 진단 가능하게 함.
2.2 실험 설계
7 가지 실험 조건:
주석 출처: 인간 (Human) vs LLM (GPT-5.2).
샘플링 전략: 활성 학습 (Entropy, BALD) vs 무작위 (Random) vs 전체 풀 (Full Pool).
데이터 양: 530 개 (AL 최대) ~ 25,974 개 (전체 LLM).
모델: 4 가지 독일어 특화 및 다국어 인코더 (German-BERT, ModernGBERT, gbert-base, XLM-R).
평가 지표: Macro-F1, Anti-Immigrant 클래스별 F1 (F1-Anti), 학습 곡선 면적 (ALC).
비용 분석: 인간 주석 ($0.083/라벨) 과 LLM 주석 ($0.002/라벨) 의 비용 대비 성능 비교.
3. 주요 결과 (Key Results)
3.1 성능 및 비용 효율성 (RQ1)
비용 대비 성능: LLM 으로 25,974 개를 주석한 모델 (FULL-LLM-26K) 은 인간으로 3,800 개를 주석한 모델 (FULL-HUMAN) 과 유사한 Macro-F1 점수 (약 0.73 vs 0.74) 를 달성했습니다.
비용: LLM 방식은 인간 방식의 **약 1/7 비용 ($43 vs $316)**으로 동급의 성능을 냈습니다.
활성 학습 (AL) 의 한계:
사전에 이민 관련 콘텐츠로 선별된 (Pre-enriched) 풀에서는 활성 학습이 무작위 샘플링보다 큰 이점을 주지 못했습니다.
AL-Human 은 AL-LLM 보다 약간 더 좋았으나, 전체 LLM 주석 (FULL-LLM-26K) 에 비하면 낮은 성능을 보였습니다.
결론: AL 의 비용 프리미엄은 대규모 LLM 주석과 비교할 때 의미가 없으며, LLM 으로 대량 주석하는 것이 더 효율적입니다.
3.2 오류 구조의 차이 (RQ2)
시스템적 편향: 전체 F1 점수는 비슷하지만, **오류 구조 (Error Structure)**에는 큰 차이가 있습니다.
LLM 기반 모델: 'ANTI-IMMIGRANT' 클래스를 과다 예측 (Over-prediction) 하는 경향이 강합니다. 즉, 거짓 긍정 (False Positive, FP) 이 매우 많고, 이를 매우 높은 확신 (Confidence) 으로 예측합니다.
인간 기반 모델: FP 와 FN(거짓 부정) 이 더 균형을 이룹니다.
신뢰도: LLM 기반 모델은 잘못된 예측 (FP) 에 대해서도 인간 기반 모델보다 훨씬 높은 확신을 가지므로, 콘텐츠 심사 시 인간 검토자에게 오류를 넘겨주는 비율이 낮아질 수 있어 위험할 수 있습니다.
3.3 주석 불일치의 원인 (RQ3)
주요 불일치 영역: '이민 정책 비판'과 '이민자 집단 적대감'의 경계가 모호한 주제 (예: 국경 통제, 복지 경쟁, 이슬람화 등) 에서 불일치가 집중됩니다.
원인:
인간: 두 단계 질문 (Q1, Q2) 을 통해 '이민 관련성'과 '부정적 묘사'를 엄격히 구분합니다. 정책 비판은 Q2 를 통과하지 못해 'NOT ANTI-IMMIGRANT'로 분류됩니다.
LLM: 전체적인 맥락 (Holistic) 으로 판단하여, 이민 관련 어휘와 부정적 뉘앙스가 결합되면 정책 비판이더라도 'ANTI-IMMIGRANT'로 분류하는 경향이 있습니다.
예시: "국경은 언제 개방되었는가?"라는 질문은 인간은 정책 비판으로 보지만, LLM 은 이민자에 대한 부정적 프레임으로 해석할 수 있습니다.
4. 주요 기여 (Key Contributions)
대규모 비교 연구: 인간 주석과 LLM 주석을 활성 학습, 무작위, 전체 풀 조건에서 정교하게 비교한 최초의 연구 중 하나입니다.
새로운 데이터셋: 독일어 정치 TikTok 댓글 277,902 개 (LLM 라벨 25,974 개, 인간 라벨 5,000 개) 를 공개했습니다.
비용 - 성능 트레이드오프 분석: LLM 이 인간 주석의 1/7 비용으로 동급 성능을 내지만, **오류 프로파일 (Error Profile)**이 다르다는 점을 강조했습니다.
실무적 시사점: 예산이 제한된 연구나 저자원 NLP 작업에서는 대규모 LLM 주석이 인간 주석을 대체할 수 있는 현실적인 대안이 됩니다.
주의점: 단순히 집계된 F1 점수만으로 주석 방식을 선택해서는 안 됩니다. 허용 가능한 오류 프로파일이 중요합니다.
예: 콘텐츠 심사 (Content Moderation) 에서 '거짓 긍정 (부적절한 콘텐츠를 허용)'이 치명적이라면 인간 주석이 필요할 수 있습니다. 반면, '거짓 부정 (부적절한 콘텐츠를 놓침)'이 더 위험하다면 LLM 기반의 과잉 감지 (Over-prediction) 가 유리할 수 있습니다.
윤리적 측면: LLM 주석은 인간 주석자가 혐오 발언을 직접 읽으며 겪는 심리적 고통 (Psychological toll) 을 줄여줍니다.
결론
이 논문은 **"인간이 여전히 루프 안에 있어야 하는가?"**에 대해 **"비용과 전체 성능 측면에서는 LLM 이 인간을 대체할 수 있으나, 오류의 성격과 적용 목적에 따라 인간 주석의 필요성이 결정되어야 한다"**고 답합니다. 특히 LLM 은 인간보다 더 넓은 기준 (Broad Boundary) 으로 적대감을 감지하는 경향이 있어, 이를 인지하고 모델의 목적에 맞는 주석 전략을 선택해야 함을 강조합니다.