🤖 machine learning

Data filtering methods for training language models

본 논문은 러시아어 텍스트 분류 데이터셋의 레이블 오류 탐지를 위해 확신 학습과 데이터셋 지도 작성법을 비교 분석하여, 두 방법 모두 무작위 제거보다 성능이 우수하지만 모델 성능 향상에 대한 효과는 데이터셋 크기와 노이즈 수준에 크게 의존하며, 특히 확신 학습이 작고 노이즈가 많은 데이터셋에서 유의미한 개선을 보임을 입증한다.

원저자: Egor Shevchenko, Elena Bruches

게시일 2026-05-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Egor Shevchenko, Elena Bruches

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인간 언어를 이해하도록 로봇을 가르친다고 상상해 보세요. 예시와 정답이 가득 담긴 거대한 교과서를 로봇에게 줍니다. 하지만 여기엔 함정이 있습니다. 교과서의 일부 정답이 틀릴 수 있다는 것이죠. 아마도 '행복'으로 라벨링되어야 할 문장이 실수로 '분노'로 표시되었거나, 문법적으로 올바른 문장이 '틀림'으로 표시되었을지도 모릅니다.

실수가 가득한 교과서로 로봇을 가르치면, 로봇도 그 실수들을 배우게 됩니다. 이것이 바로 라벨 노이즈 문제입니다.

이 논문은 AI 훈련에 사용되는 세 가지 다른 러시아어 교과서 (데이터셋) 에 대한 품질 관리 검사처럼 작용합니다. 저자 E. Shevchenko 와 E. Bruches 는 로봇이 공부를 시작하기 전에 나쁜 예시들을 찾아내고 제거하기 위해 두 가지 다른 '탐정 도구'를 테스트했습니다.

다음은 그들의 실험과 발견한 바에 대한 간단한 요약입니다:

두 명의 탐정

연구자들은 오류를 찾는 두 가지 자동 방법을 비교했습니다:

"두 번째 의견" 탐정 (신뢰도 학습, Confident Learning):
- 작동 원리: 한 학생이 시험을 치렀다고 상상해 보세요. 그런 다음 그 학생을 네 그룹으로 나누어 각 그룹이 다른 그룹의 답을 채점하게 합니다. 다른 그룹들에 따르면 특정 문제를 지속적으로 틀렸는데도 정답지가 맞다고 표시했다면, "두 번째 의견" 탐정은 이를 정답지의 잠재적 오류로 표시합니다.
- 분위기: 철저하지만 공격적입니다. 모델 예측의 합의에 신뢰를 둡니다.
"학습 습관" 탐정 (데이터셋 지도 작성, Dataset Cartography):
- 작동 원리: 이 탐정은 학생이 시간이 지남에 따라 어떻게 공부하는지 지켜봅니다. 학생이 특정 문제를 계속 맞히고, 틀리고, 다시 맞추거나, 여러 번의 학습 세션 후에도 여전히 혼란스러워 보인다면, 탐정은 이를 '문제 있는' 것으로 표시합니다. 이는 시간이 지남에 따라 모델의 신뢰도가 어떻게 변하는지 살펴봅니다.
- 분위기: 더 신중한 편입니다. 모델이 지속적으로 학습에 어려움을 겪는 예시들만 제거합니다.

세 가지 교과서 (데이터셋)

연구자들은 이 탐정들을 세 가지 매우 다른 러시아어 데이터셋에서 테스트했습니다:

거대한 책 (ru_emotion_e-culture): 감정에 관한 49,000 개의 포럼 게시물이 담긴 거대한 컬렉션입니다. 규모가 크고 전반적으로 품질이 높습니다.
중간 크기의 책 (RuCoLA): 문법적으로 올바른지 확인하기 위한 8,500 개의 문장 컬렉션입니다. 크기는 중간이지만 '올바름'이 주관적일 수 있어 까다롭습니다.
작은 책 (TERRa): 한 문장이 다른 문장을 함축하는지 확인하기 위한 2,300 개의 문장 쌍 컬렉션입니다. 규모가 작고 혼란스러울 것으로 의심됩니다.

무슨 일이 일어났을까? (결과)

1. 거대한 책: "고장 나지 않았으면 고치지 마라"
거대한 데이터셋에서는 교과서들이 이미 꽤 좋았습니다.

결과: 탐정들이 찾은 '나쁜' 예시들을 제거했을 때, 로봇은 실제로 작업 수행 능력이 약간 더 떨어졌습니다.
교훈: 방대한 양의 데이터가 있을 때, 로봇은 스스로 몇 개의 나쁜 사과를 무시할 만큼 똑똑합니다. 그것들을 제거하는 것은 책을 더 좋게 만들지 않고 단지 크기를 줄이는 것뿐입니다.

2. 중간 크기의 책: "무작위보다는 낫지만 완벽하지는 않다"
중간 크기의 데이터셋에서는 두 탐정 모두 많은 오류를 발견했습니다 (책의 약 15~18%).

결과: 이러한 오류들을 제거해도 로봇이 완벽해진 것은 아니지만, 동일한 수의 페이지를 무작위로 버렸을 때보다 성능이 더 좋아졌습니다.
교훈: 탐정들은 단순히 추측한 것이 아니라 실제 실수들을 찾아냈습니다. 그러나 데이터셋이 여전히 너무 노이즈가 많거나 작업이 너무 어려워 단순히 정제하는 것만으로는 성능이 크게 향상되지 않았습니다.

3. 작은 책: "정제의 마법"
이것이 가장 극적인 결과였습니다. 작은 데이터셋은 매우 혼란스러울 것으로 의심되었습니다.

결과: "두 번째 의견" 탐정은 책의 **35%**가 틀렸다고 발견했습니다! 그들이 그 나쁜 예시들을 제거했을 때, 로봇의 성능이 크게 향상되었습니다.
비교: 만약 그들이 책의 35% 를 무작위로 버렸다면 로봇은 완전히 망쳤을 것입니다. 하지만 그들이 특정한 나쁜 예시들을 버렸기 때문에 로봇은 훨씬 더 똑똑해졌습니다.
교훈: 작고 혼란스러운 데이터셋의 경우, 오류를 찾아 제거하는 것은 게임 체인저입니다.

핵심 교훈

이 논문은 "만능 해결책"은 없다고 결론 내립니다.

거대하고 깨끗한 데이터셋이 있다면, 노이즈를 걸러내는 데 시간을 낭비할 필요가 없습니다. AI 가 노이즈를 처리할 수 있습니다.
작고 혼란스러운 데이터셋이 있다면, "신뢰도 학습"과 같은 도구를 사용하여 데이터를 정제하는 것이 필수적입니다. 이는 작은 진흙탕 방을 청소하는 것과 같습니다. 진흙을 제거하지 않으면 바닥을 볼 수 없습니다.

저자들은 또한 "학습 습관" 탐정 (데이터셋 지도 작성) 은 더 안전하며 실수로 좋은 예시들을 버릴 가능성이 적다고 지적한 반면, "두 번째 의견" 탐정 (신뢰도 학습) 은 더 공격적이며 작은 데이터셋에서 최악의 오류를 찾는 데 더 뛰어나다고 덧붙였습니다.

요약하자면: 데이터를 정제하는 것은 렌즈를 닦는 것과 같습니다. 렌즈가 이미 맑고 거대하다면 조금 더 닦아도 도움이 되지 않습니다. 하지만 렌즈가 작고 진흙으로 덮여 있다면, 그것을 닦는 것이 선명하게 보기 위한 유일한 방법입니다.

기술 요약: 언어 모델 학습을 위한 데이터 필터링 방법

문제 제기

지도 기계 학습 모델의 효과성은 근본적으로 라벨링된 학습 데이터의 품질에 의해 제한됩니다. "데이터 중심 AI"로의 전환에도 불구하고, 할당된 라벨과 실제 범주 간의 불일치인 라벨 노이즈는 널리 사용되는 벤치마크에서도 여전히 만연합니다. 영어 컨텍스트에서는 이에 대한 광범위한 연구가 이루어졌으나, 러시아어 코퍼스에서의 주석 품질에 대한 체계적인 분석은 부족합니다. 러시아어의 고유한 언어적 특성 (자유로운 어순, 풍부한 형태론, 동음이의어) 은 주석의 주관성과 오류율을 악화시킬 수 있습니다. 본 연구는 러시아어 텍스트 분류 작업에서 자동 라벨 오류 탐지 방법을 평가하여, 무작위 데이터 축소와 비교했을 때 표적 데이터 필터링이 모델의 일반화 능력을 향상시키는지 확인함으로써 이러한 격차를 해소합니다.

방법론

본 연구는 두 가지 자동 라벨 오류 탐지 방법인 **신뢰 학습 (Confident Learning, CL)**과 **데이터셋 카트그래피 (Dataset Cartography, DM)**의 비교 분석을 수행합니다.

데이터셋

실험은 크기, 도메인, 클래스 분포가 서로 다른 세 가지 러시아어 코퍼스에서 수행되었습니다:

ru_emotion_e-culture: 49,123 개 예시, 5 개 클래스 (감정 분류).
RuCoLA: 8,524 개 예시, 2 개 클래스 (언어적 수용성).
TERRa: 2,337 개 예시, 2 개 클래스 (텍스트 함의 인식).

기본 모델 및 학습

모든 실험은 사전 학습된 rubert-base-cased 모델을 사용했습니다.

표준 파인튜닝: 3 에포크, 배치 크기 32, 학습률 $2\times10^{-5}$ .
평가 지표: 클래스 불균형을 고려한 F1-macro (정확도 보조).

탐지 방법

신뢰 학습 (CL): cleanlab 라이브러리를 통해 구현되었습니다. $K$ -폴드 교차 검증 ( $K=4$ ) 을 사용하여 폴드 간 예측을 생성합니다. "신뢰할 수 있는 결합 (confident joint)" 행렬은 관측된 라벨과 잠재적 실제 라벨 간의 분포를 추정합니다. 모델이 할당된 라벨과 다른 클래스를 확신 있게 예측하는 예시는 오류로 표기됩니다.
데이터셋 카트그래피 (DM): 사용자 정의 콜백을 통해 구현되었습니다. 10 에포크에 걸친 인-샘플 학습 역학을 분석합니다. 각 예시마다 네 가지 지표 (신뢰도, 변동성, 정확성, 망각성) 가 계산됩니다. 예시는 신뢰도와 변동성 임계값에 기반하여 "쉬운", "모호한", "학습이 어려운" 영역으로 분류됩니다. "학습이 어려운" 예시는 제거 대상 후보가 됩니다.

실험 설계

각 방법에 대해 식별된 "노이즈가 있는" 예시를 학습 세트에서 제거하고 모델을 재학습시켰습니다. 핵심적으로, 동등한 수의 예시를 무작위로 제거하는 대조 실험이 수행되었습니다. 이 설계는 학습 세트 크기 감소 그 자체와 표적 필터링의 효과를 분리합니다.

주요 기여

최초 비교 분석: 본 연구는 러시아어 텍스트 분류 코퍼스를 대상으로 신뢰 학습과 데이터셋 카트그래피를 비교 평가한 최초의 작업입니다.
데이터셋 특성에 따른 의존성: 본 연구는 필터링 효과가 균일하지 않으며, 코퍼스 크기와 초기 노이즈 수준에 크게 의존함을 보여줍니다.
필터링의 유의성 검증: 대조 실험을 통해 저자들은 표적 필터링의 이점을 단순한 샘플 크기 감소와 분리하여, 두 방법 모두 실질적으로 문제가 있는 예시를 식별함을 증명했습니다.

결과

필터링 강도

신뢰 학습은 적응적 행동을 보였으며, 대규모 코퍼스에서는 데이터의 작은 부분을 제거 (ru_emotion_e-culture에서 3.75%) 했지만, 작고 노이즈가 많은 코퍼스에서는 막대한 부분을 제거 (TERRa에서 35.47%) 했습니다.
데이터셋 카트그래피는 더 보수적이고 안정적이었으며, 모든 코퍼스에서 데이터의 9.28% 에서 14.48% 사이를 제거했습니다.

성능 결과 (F1-macro)

대규모 고품질 코퍼스 (ru_emotion_e-culture): 두 방법 모두 기준선 (F1 $\approx$ 0.935) 대비 성능 향상을 보이지 않았습니다. 오히려 두 방법 모두 약간 감소시켰는데, CL 은 무작위 제거와 거의 동일한 성능을 보여 모델이 존재하는 희소한 노이즈에 대해 견고했음을 시사합니다.
중규모 코퍼스 (RuCoLA): 두 방법 모두 기준선보다 낮은 절대 F1 점수를 기록했습니다. 그러나 두 방법 모두 무작위 제거보다 유의하게 우월한 성능을 보였습니다 (CL: 무작위 대비 +0.0166; DM: 무작위 대비 +0.0141). 이는 제거된 예시들이 무작위 부분집합보다 실제로 더 문제가 있음을 확인시켜 줍니다.
소규모 노이즈 코퍼스 (TERRa): 이는 가장 유의미한 결과를 낳았습니다.
- 신뢰 학습은 절대적 품질에서 유의미한 향상 (+0.0134, 기준선 대비) 을 달성하여 F1 을 0.6444 에서 0.6578 로 높였습니다.
- 핵심적으로, CL 은 무작위 제거보다 큰 차이 (+0.1348) 로 우월하여, 제거된 35% 의 예시들이 모델을 저하시키는 노이즈의 대부분을 포함하고 있음을 나타냅니다.
- 데이터셋 카트그래피는 기준선 성능 (F1 $\approx$ 0.6441) 을 유지했지만 향상시키지는 못했으며, 무작위 제거보다 +0.0590 더 우월했습니다.

진단적 통찰

데이터셋 카트그래피는 추가적인 진단 지표를 제공했습니다. TERRa 코퍼스는 ru_emotion_e-culture (각각 0.979 및 0.033) 에 비해 평균 신뢰도가 현저히 낮고 (0.811), 변동성이 더 높았습니다 (0.184). 이는 더 높은 노이즈 수준과 작업 난이도와 상관관계가 있었습니다.

의의 및 한계

본 논문은 표적 데이터 필터링이 특히 주석 노이즈가 높은 소규모 러시아어 코퍼스에서 의미 있는 전략임을 결론지으며, 이 경우 신뢰 학습이 상당한 성능 향상을 가져올 수 있다고 말합니다. 더 크고 깨끗한 데이터셋의 경우, 노이즈 제거의 이점보다 데이터 감소로 인한 비용이 더 클 수 있습니다.

저자들은 다음과 같은 한계를 명시적으로 지적합니다:

진실값 (Ground Truth) 부재: 수동 전문가 검증은 수행되지 않았습니다. 필터링의 "유의성"은 검증된 오류 세트에 대한 정밀도/재현율 대신 무작위 제거와의 비교를 통해 간접적으로 추론되었습니다.
단일 모델/시드: 결과는 단일 기본 모델 (rubert-base-cased) 과 단일 무작위 시드를 기반으로 하므로, 보고된 수치적 차이는 통계적으로 평균화된 결과가 아닌 단일 추정치입니다.
범위: 분석은 텍스트 분류로 제한되며, 시퀀스 라벨링이나 생성과 같은 다른 NLP 작업으로의 일반화는 다루지 않았습니다.

본 연구는 작고 노이즈가 많은 러시아어 데이터셋의 경우, 신뢰 학습을 적용한 후 검증 및 재학습을 수행하는 것이 권장되는 실용적 접근법이며, 데이터셋 카트그래피는 데이터 품질 진단을 위한 더 안전하고 계산 효율적인 도구로 작용한다고 제안합니다.