기술 요약: CDR-Bench

문제 정의

데이터 정제(Data refinement)는 현대 대규모 언어 모델(LLM) 파이프라인의 핵심적인 구성 요소로, 노이즈가 섞인 원시 텍스트를 사전 학습 코퍼스 구축부터 검색 증강 생성(RAG) 및 개인정보 보호를 위한 배포에 이르기까지 다양한 애플리케이션에 적합한 깨끗하고 작업 준비가 된 데이터로 변환하는 역할을 합니다. 전통적인 파이프라인은 휴리스틱 규칙과 수작업으로 작성된 스크립트에 의존해 왔으나, LLM의 부상은 유연하고 자연어 기반의 정제 가능성을 제시했습니다.

그러나 LLM이 이러한 정제 작업을 **충실하게 실행(faithfully execute)**할 수 있는지 평가하는 데에는 상당한 격차가 존재합니다. 실제 세계의 데이터 정제는 결코 단일하거나 고립된 작업이 아닙니다. 이는 여러 연산자(매퍼와 필터)가 진화하는 텍스트 상태에 순차적으로 적용되는 **조합적(compositional)**이고 순서에 민감한(order-sensitive) 파이프라인을 포함합니다. 기존 벤치마크는 텍스트 편집 자체에만 집중하거나(조합을 무시함), 텍스트 처리를 코드 생성 및 도구 실행과 결합하여(모델의 본질적인 절차적 능력을 가림) 모델의 능력을 모호하게 만듭니다. 결과적으로, 특히 연산의 순서가 최종 결과에 결정적인 영향을 미치는 복잡한 다단계 정제 레시피를 LLM이 직접적이고 충실하게 실행할 수 있는지 여부는 여전히 불분명합니다.

방법론: CDR-Bench

이러한 격차를 해소하기 위해 저자들은 조합적이고 순서에 민감한 데이터 정제 레시피의 충실한 실행을 평가하기 위해 설계된 종합 벤치마크인 CDR-Bench를 소개합니다.

벤치마크 구축

CDR-Bench는 네 가지 실제 도메인에 걸친 3,462개의 고품질 태스크로 구성됩니다:

1. 웹 정제 (Web Refinement, WR): 크롤링된 웹 텍스트 정제 (예: HTML 제거, 공백 정규화).
2. LaTeX 정제 (LaTeX Refinement, LR): 과학 문서 처리 (예: 매크로 확장, 주석 제거).
3. RAG 준비 (RAG Preparation, RP): 검색을 위한 텍스트 준비 (예: 반복 문장 제거, 유니코드 수정).
4. 개인정보 비식별화 (Privacy Redaction, PR): 이메일, IP, 비밀번호와 같은 개인 식별 정보(PII) 제거.

이 벤치마크는 29개의 고유한 연산자(변환을 위한 매퍼와 KEEP/DROP 결정을 위한 필터)를 사용하며, 이는 63개의 레시피 템플릿으로 조직되어 있습니다. 구축 파이프라인은 다음과 같습니다:

• 데이터 수집 및 활성화: 이질적인 코퍼스를 확보하고 특정 연산자가 비사소한(non-trivial) 변화를 생성하는 레코드를 식별합니다.
• 레시피 마이닝: 실제적인 레시피 패밀리를 생성하기 위해 빈번하게 발생하는 연산자 공생 패턴을 마이닝합니다.
• 트랙 구체화: 세 가지 뚜렷한 평가 트랙을 생성합니다:
  • 원자적 (Atomic): 단일 연산자 실행 (베이스라인).
  • 순서 불가지론적 (Order-Agnostic, Agnostic-M): 순서가 결과에 영향을 미치지 않는 다단계 레시피.
  • 순서 민감형 (Order-Sensitive): 실행 순서가 근본적으로 결과를 바꾸는 레시피. 여기에는 Order-M(매퍼 순서 변경)과 **క매퍼 전, 중, 후 위치에 필터를 삽당하는 Order-F가 포함됩니다.
• 결정론적 참조 (Deterministic References): 모든 태스크는 LLM-as-a-judge 패러다임에 의존하지 않고, 결정론적 연산자 실행에 의해 생성된 그라운드 트루스 출력과 비교하여 평가됩니다.

평가 지표

Exact match나 Edit distance와 같은 표준 지표는 이 작업에 불충분합니다. 저자들은 세 가지 특정 지표를 제안합니다:

1. 레시피 성공 (Recipe Success, RS): 모델의 출력과 정규화된 참조 텍스트 간의 일치 여부를 측정하며, 올바른 KEEP/DROP 결정까지 포함합니다.
2. 순서 일관성 성공 (Order-Consistent Success, OCS): 순서 민감형 그룹을 평가하며, 모델이 그룹 내의 모든 변형(예: 레시피의 모든 순열)을 동시에 올바르게 해결할 것을 요구합니다.
3. 정제 이득 (Refinement Gain, RG): 정확한 출력을 달est하지 못하더라도, 참조를 향한 edit distance의 감소량을 측정하여 부분적인 진전 정도를 포착합니다.

주요 결과

실험은 비-사고 모드(non-thinking modes)에서 10개 이상의 최첨단 LLM(GPT-5.4, Claude Opus 4.5/4.6, Qwen3.6, DeepSeek-V4, Llama-4 포함)을 대상으로 수행되었습니다.

1. 원자적-레시피 간 성능 저하 (Atomic-to-Recipe Degradation)

모델들은 원자적 설정에서 조합적 설정으로 넘어갈 때 급격한 성능 저하를 보입니다.

• GPT-5.4는 Atomic-M에서의 RS가 **30.30%**에서 Agnostic-M에서는 **22.74%**로 떨어졌으며, Order-M에서는 **13.99%**로 급락했습니다.
• 유사한 경향이 모든 모델에서 관찰되며, 이는 절차적 조합이 모델의 크기나 아키텍처와 무관하게 주요 병목 구간임을 나타냅니다.

2. 순서 민감도 및 충실성 (Order Sensitivity and Faithfulness)

순서 민감형 설정은 모델이 그럴듯해 보이는 출력을 생성하면서도 의도된 실행 순서를 위반하는 치명적인 실패 모드를 드러냅니다.

• **순서 일관성 성공 (OCS)**은 개별 레시피 성공률보다 현저히 낮습니다. GPT-5.4의 경우, Order-M에서의 RS@3는 13.99%이지만, 모든 순열을 올바르게 해결하는 OCS@3는 **4.90%**에 불과했습니다.
• 지연된 필터링 (Deferred Filtering): 변환 후에 필터링 결정이 적용될 경우 성능이 급격히 저하됩니다. GPT-5.4의 필터 배치 성공률은 Pre-filter의 **62.04%**에서 Mid-filter의 25.03%, Post-filter의 **14.97%**로 떨어졌습니다.

3. 프롬프팅 전략의 영향

• Few-Shot 및 Plan-First 전략은 미미하거나 일관되지 않은 개선을 보였습니다.
• 상태 인식 (State-Aware) 프롬프팅(중간 텍스트 상태를 명시적으로 식별)은 가장 일관된 이득을 제공하며, 일부 모델에서 Order-F OCS를 최대 9%포인트 향상시켰습니다. 그러나 절대적인 성능은 여전히 낮아, 프롬프트 엔지니어링만으로는 근본적인 한계를 해결할 수 없음을 시사합니다.
• 사고 모드 (Thinking Mode): 사고/추론 모드를 활성화하면 성능이 상당히 향 향상되며, 특히 Order-F 태스크에서 두드러집니다 (예: Qwen3.6-35B-A3B에서 +19.6 pp). 이는 필터 평가를 위한 명시적인 다단계 추론의 이점을 강조합니다.

4. 실세계 의미론적 검증 (Real-World Semantic Validation)

이러한 결과가 규칙 기반 연산자의 인위적인 결과가 아님을 확인하기 위해, 저자들은 인간이 주석을 단 참조 데이터를 사용하여 네 가지 의미론적 도메인(PII 비식별화, 환각 처리, 안전 태깅, 루브릭 점수 산정)을 평가했습니다.

• 원자적-조합적 간극은 모든 도메인에서 평균 28.0 퍼센트 포인트로 지속되었습니다.
• 격차의 심각도는 태스크 구조에 따라 다릅니다. 루브릭 점수 산정이 가장 큰 저하(최대 61.1 pp)를 보였으며, 환각 처리는 가장 미세한 단계가 이미 병목인 조ละเอียด-to-fine 계층 구조를 형성하고 있어 격차가 더 작았습니다.

의의 및 주장

본 논문은 CDR-Bench가 현재 LLM의 근본적인 한계인 **절차적 충실성(procedural faithfulness)**을 밝혀냈다고 주장합니다.

• 절차적 충실성: 현재 모델들은 의도된 순서에 따라 잠재적인 일련의 연산을 신뢰성 있게 실행하는 능력이 부족합니다. 모델들은 종종 표면적으로 그럴듯한 출력을 생성하면서도 실행 제약 조건을 은밀히 위반합니다.
• 표면적 편집을 넘어: 데이터 정제의 발전은 표면적인 텍스트 편집에서 진정한 절차적 충실성으로 전환되어야 합니다.
• 벤치마크의 유용성: CDR-Bench는 코드 생성 및 도구 사용으로부터 이를 분리하여, 이 특정한 능력을 측정할 수 있는 재현 가능한 테스트베드를 제공합니다.
• 일반화 가능성: 조합적 병목 현상은 결정론적 규칙 기반 연산자에 국한되지 않고 고차원적인 의미론적 추론 태스크까지 확장됩니다. 이는 LLM이 다단계, 상태 의존적 워크플로우를 처리하는 방식에 대한 구조적 한계를 시사합니다.

저자들은 LLM이 개별 연산에서는 유망함을 보여주지만, 복잡한 조합적 데이터 정제 파이프라인에서의 신뢰성은 상태 추적 및 절차적 실행에 초점을 맞춘 상당한 아키텍처적 또는 훈련적 발전 없이는 배포하기에 불충분하다고 결론짓습니다.