기술 요약: UltraX

문제 정의

사용 가능한 학습 데이터의 물리적 한계에 도달함에 따라, 스케일링 법칙(Scaling Laws)으로부터 얻을 수 있는 성능 향상이 점차 둔화되고 있습니다. 결과적으로, 거대 언어 모델(LLM)의 성능 향상을 위한 초점은 단순한 데이터 확장에서 고품질 데이터를 통한 데이터 활용 효율성 개선으로 이동했습니다. 그러나 대규모 코퍼스를 위한 기존의 정제 방법론들은 다음과 같은 상당한 한계에 직면해 있습니다:

• **규칙 기반 접근 방식(Rule-based approaches)**은 고정된 휴리스틱에 의해 제약을 받으며, 인스턴스 수준의 변동성에 대응하기 어렵고, 가치 있는 정보를 포함하고 있는 문서조차 거부하는 경우가 빈번합니다.
• 모델 기반 접근 방식(Model-based approaches)(LLM 기반의 엔드투엔드 정제 포함)은 막대한 계산 비용이 발생하고 처리량이 낮으며, 프리트레이닝 코퍼스로 확장하는 데 어려움을 겪습니다. 또한, 긴 컨텍스트 시나리오에서의 엔드투엔드 생성은 세그멘테이션 지점(segmentation points)을 구분하는 데 어려움이 있어 의미적 파편화와 구조적 불일치를 유발할 수 있습니다.
• 기존의 프로그래밍 방식 정제 방법(예: ProX, RefineX)은 불완전한 함수 공간(삽입 기능 부재)을 가지고 있으며, 신뢰할 수 없는 시드 감독(seed supervision)에 의존하고, 중복 문자열 매칭이나 연속적인 연산 간의 간섭과 같은 실행 문제를 겪습니다.

핵심 과제는 모델 주도의 미세한(fine-grained) 정제 이점을 유지하면서도, 이를 어떻게 높은 효율성과 안정성을 갖추어 대규모 프리트레이닝 코퍼스로 신뢰성 있게 확장할 것인가 하는 점입니다.

방법론

UltraX는 두 단계의 워크플로우인 **정제 모델 구축(Refinement Model Construction)**과 **대규모 프로그램 실행(Program Execution at Scale)**을 통해 이러한 과제를 해결하도록 설계된 함수 호출(function-calling) 정제 프레임워크입니다.

1. 태스크 정의 및 함수 공간 설계

UltraX는 데이터 정제를 프로그래밍 방식의 텍스트 변환 과정으로 공식화합니다. 텍스트를 직접 생성하는 대신, 경량 모델이 구조화된 함수 호출 시퀀스($Z$)를 예측하면, 결정론적 실행기(deterministic executor)가 이를 원본 문서($d$)에 적용하여 정제된 문서($\hat{d}$)를 생성합니다.

이전 연구들의 한계를 극복하기 위해, UltraX는 다음과 같은 내용을 포함하는 완전한 편집 함수 공간($\Omega$)을 도입합니다:

• 삭제(Deletion): remove_lines (광고, 네비게이션, 템플릿과 같은 노이즈 제거용) 및 remove_all (가치 없는 문서용).
• 수정(Modification): replace_str (HTML 잔재나 인라인 노이즈 수정과 같은 국소적 문자열 교체용).
• 삽입(Insertion): add_line (누락된 구조를 보완하거나 의미적 내용을 복원하기 위함).
• 보존(Preservation): keep_all (변경이 필요 없는 문서용).

결정적으로, 연산은 원시 문자 인덱스가 아닌 라인 번호와 로컬 문자열에 의해 고정(anchor)되므로, 경량 모델의 실행을 용이하게 하는 동시에 감사 가능성(auditability)을 보장합니다.

2. 프로그램-감독 생성 파이프라인

정제 모델을 학습시키기 위해, UltraX는 신뢰할 수 있는 시드 감독 파이프라인을 구축합니다:

• 데이터셋 적응형 프롬프트 최적화: 자동 에이전트가 각 데이터셋의 노이즈 패턴과 콘텐츠 유형을 프로파일링하고, 전문가 LLM(DeepSeek-V3.2)이 고품질의 엔드투엔드 정제 텍스트를 생성하도록 프롬프트를 반복적으로 최적화합니다.
• 계층적 텍스트-연산 매핑:
  • 라인 정렬 매핑(Line Alignment Mapping): 내용, 문맥, 위치를 기반으로 원본과 정제된 라인을 정렬하여 삭제, 삽입, 수정을 식별합니다.
  • 동적 컨텍스트 교체(Dynamic Context Replacement): 라인 내부의 편집 범위를 분석하고 주변 문맥을 동적으로 확장하여, 편집 사항을 고유하게 식별 가능한 replace_str 연산으로 변환함으로써 반복되는 서브스트링으로 인한 모호성을 방지합니다.
• 필터링 및 샘사플링: 낮은 신뢰도의 예시(예: 과도한 연산, 지나치게 긴 삽입)를 필터링합니다. 학습 데이터는 연산 조합 유형별로 비율 제어 샘플링을 사용하여 학습 분포를 안정화하며 구축됩니다.

3. 대규모 실행 파이프라인

추론 시, UltraX는 다음을 통해 대규모 코퍼스를 처리합니다:

• 세그먼트 단위 예측: 길이 제한을 처리하기 위해 문서를 슬라이딩 윈도우(중첩 포함)로 분할합니다. 모델은 각 세그먼트에 대한 연산 시퀀스를 예측합니다.
• 연산 집계(Operation Aggregation): 로컬 연산을 글로벌 라인 번호 공간으로 매핑합니다. 중복 수정을 방지하기 위해 중첩된 영역은 이전 윈도우가 처리하도록 합니다.
• 체계적 후처리: 파이프라인에는 모호한 교체 필터링, 동일 라인 상의 인접/간섭 연산 병합, 그리고 실행 안정성을 보장하기 위한 반복 패턴(예: 순환 삽입) 탐지가 포함됩니다.
• 결정론적 실행: 결정론적 실행기가 검증된 프로그램을 원본 텍스트에 적용하여 추적 가능성과 재현성을 보장합니다.

주요 기여

1. UltraX 프레임워크: 삭제 및 수정과 함께 삽입 기능을 도입하여, 미세한 인스턴스 수준 편집을 위한 편집 함수 공간을 완성한 함수 호출 정제 프레임워크입니다.
2. 신뢰할 수 있는 감독 파이프라인: 데이터셋 적응형 프롬프트 최적화, 라인 정렬 매핑, 동적 컨텍스트 교체를 활용하여 엔드투엔드 정제 텍스트를 구조화된 프로그램 감독 데이터로 변환하는 계층적 텍스트-연산 매핑 시스템을 제공합니다.
3. 강건한 실행 메커니즘: 슬라이딩 윈도우 예측, 글로벌 연산 집계, 체계적 후처리(중복 패턴 탐지 포함)를 특징으로 하는 대규모 실행 파이프라인을 통해 모델 출력을 정규화하고 검증합니다.
4. 실증적 검증: UltraX가 다양한 이질적 코퍼스 전반에서 다운스트림 성능을 향상시키는 동시에 우수한 데이터 효율성을 달성함을 광범위한 실험을 통해 입증했습니다.

실험 결과

저자들은 FineWeb, RedPajama-V2, AICC, Ultra-FineWeb, FineWeb-ProX-Doc의 다섯 가지 코퍼스를 대상으로 1B 파라미터 규모의 MiniCPM 모델을 사용하여 처음부터(from-scratch) 프리트레이닝 실험을 수행했습니다.

• 성능 향상: UltraX는 다섯 가지 코퍼스 모두에서 가장 높은 평균 성능을 달ach했습니다. 여러 데이터셋에서 Raw 데이터 및 ProX-C 베이스라인 대비 2% 이상의 상대적 개선을 보였습니다.
• 데이터 효율성: UltraX는 더 적은 학습 토큰으로 베이스라인 방법들과 대등하거나 이를 능가하는 성능을 보였습니다. 예를 들어, FineWeb의 경우 UltraX는 16B 토큰만으로도 20B 토큰을 사용한 베이스라인들(Raw: 45.08, ProX-C: 45.05)보다 높은 평균 점수(45.49)를 기록했습니다.
• 정제 품질: 80K개의 샘플 문서를 분석한 결과, UltraX는 더 높은 평균 품질 점수(ProX-C의 9.17 대비 9.60)와 현저히 낮은 저점 샘플 비율(ProX-C의 2.59% 대비 0.38%)을 달성했습니다. 이는 노이즈 제거, 콘텐츠 보존, 포맷 무결성 측면에서 탁월한 성능을 보여줍니다.
• 토큰 분포: 토큰 수를 급격히 줄이는 공격적인 삭제 방식과 달리, UltraX는 더 많은 비어 있지 않은 문서와 유용한 콘텐츠를 보존하여 노이즈 제거와 정보 보존 사이의 균형을 맞춥니다.

의의 및 주장

본 논문은 UltraX가 프리트레이닝 데이터 품질을 개선하는 효율적이고 신뢰할 수 있으며 확장 가능한 접근 방식을 제공한다고 주장합니다. 엔드투엔드 텍스트 생성에서 구조화된 함수 호출로 전환함으로써, UltraX는 LLM 기반 정제의 효율성 병목 현상을 극복하는 동시에 규칙 기반 방법의 경직성을 피합니다.

저자들은 이러한 성능 향상이 단순히 더 많은 콘텐츠를 삭제하는 것이 아니라, 노이즈 제거와 가치 있는 학습 신호 보존 사이의 균형을 더 잘 맞추는 미세한 인스턴스 수준의 프로그래밍 방식 정제에서 비롯된다는 점을 강조합니다. 이 프레임워크는 함수 호출 정제를 대규모 프리트레이닝 코퍼스로 성공적으로 확장하여, 데이터 스케일링 법칙이 둔화되기 시작하는 시점에서 LLM 성능을 높일 수 있는 실행 가능한 경로를 제시합니다.

논문은 실험이 제한된 토큰 예산과 모델 규모 하에서 수행되었으며, 현재 초점이 영어 웹 코퍼스에 맞춰져 있다는 점을 언급하며 한계를 겸허히 인정합니다. 향후 연구 과제로 다국어 환경, 모델 압축, 특정 데이터 결함에 특화된 정제기(refiner) 개발 등을 제시하고 있습니다.