기술 요약: 샤딩(Sharding)은 LLM의 감시 실패 및 적대적 공격을 방지한다

문제 정의

대규모 언어 모델(LLM)이 인간의 검증 능력을 초과하는 규모로 결과물을 생성함에 따라, 감시 업무를 다른 모델에게 위임하는 방식("LLM-as-a-judge")이 점점 늘어나고 있다. 이때 하나의 결정적인 실패 모드가 발생한다. 단일 감시 모델이 한 번의 호출 내에서 너무 많은 독립적인 기준이나 결정을 평가하도록 맡겨질 때이다. 저자들은 단순히 하나의 총체적 판단을 위해 계산 예산(토큰 또는 도구 호출)을 늘리는 것만으로는 "결정 부하(decision load)" 문제를 해결할 수 없다고 주장한다. 모델이 동시에 많은 판결을 내려야 할 때, 주의력(attention)이 분산되어 증거에 기반한 근거가 약한 결정을 내리게 된다. 이러한 과부하는 모델이 표면적인 단서에 의존하게 만드는 방향성 편향을 만들어내며, 생산자가 미충족 기준의 수용을 유도하기 위해 작업물의 제시 방식을 조작하는 적대적 공격에 취약하게 만든다.

방법론

본 논문은 결정 부하 실패를 완화하기 위한 구조적 개입으로서 **샤딩(Sharding)**을 도입한다. 샤딩은 $K$개의 결정을 $S$개의 서로 다른 그룹으로 분할하여 각 그룹을 별도의 모델 호출에 할당한다. 결정적으로, 실험 설계는 결정 부하($n$, 호출당 결정 수)의 효과를 격리하기 위해 전체 계산 예산, 모델 아키텍처, 그리고 증거를 서로 다른 "실험군(arms)" 간에 동일하게 유지한다.

연구는 네 가지 주요 구성을 비교한다:

1. Solo (Holistic): 하나의 호출이 기본 예산 $B$를 사용하여 모든 $K$개의 결정을 내린다.
2. Full-Budget Solo: 하나의 호출이 샤딩된 패널의 총 계산량과 일치하도록 확장된 예산($S \times B$)을 사용하여 모든 $K$개의 결정을 내린다.
3. Pooled Opinions: $S$개의 호출이 각각 모든 $K$개의 결정을 예산 $B$로 수행한다 (업무를 나누는 대신 중복 수행).
4. Sharded: $K$개의 결정이 $S$개의 그룹으로 분할되며, 각 그룹은 예산 $B$를 가진 하나의 호출에 의해 판단된다.

저자들은 세 가지 전문가 라벨링 데이터셋을 통해 이 구성들을 평가한다:

• PaperBench: 수백 개의 리프(leaf) 기준이 포함된 전문가 등급의 연구 재현 제출물.
• JudgmentBench: 전문 변호사가 전체 계약서를 문맥으로 하여 전문적인 루브릭에 따라 채점한 법률 작업물.
• ROBoto2: 임상 시험에 대한 전문가 Cochrane 위험 편향 평가.

또한, 연구에서는 **Best-of-$N$ 제시 공격(Presentation Attack)**을 사용한다. 적대자는 (그라운드 트루스는 고정한 채) 보고서나 코드 설명의 $N$가지 변형을 생성하고, 미충족 기준의 수용을 극대화하는 버전을 선택한다. 저자들은 또한 이전 라운드에서 방어에 의해 거부된 기준을 타겟팅하여 제시물을 반복적으로 재작성하는 **적응형 공격(Adaptive Attacks)**도 테스트한다.

핵심 기여 및 결과

1. 결정 부하가 정확도를 저하시키며, 샤딩이 이를 회복시킨다

저자들은 단일 홀리스틱(holistic) 모델을 위해 예산을 늘리는 것이 높은 결정 부하로 인해 손실된 정확도를 회복시키지 못한다는 것을 입증했다.

• PaperBench: 116개 기준의 부하에서, 샤딩된 판사(Claude Opus 4.8)는 코헨 카파(Cohen's kappa) 계수 0.789를 달성한 반면, 단일 판사는 0.604, 전체 예산을 가진 단일 판사는 0.598를 기록했다. 전체 예산을 가진 단일 판사가 개선되지 않았다는 점은 병목 현상이 계산량이 아닌 주의력(attention)에 있음을 나타낸다.
• JudgmentBench: 전문가 변호사와의 일치도가 단일 판사의 경우 4개 기준에서 0.672였으나 20개 기준에서는 0.538로 떨어졌다. 샤딩(그룹 크기 4)은 일치도를 0.655로 복구하여, 단일 판사와 전체 예산을 가진 단일 판사보다 우수한 성능을 보였다.
• 역량 대체(Capacity Substitution): 더 약한 모델인 샤딩된 판사(Sonnet 4.6)가 더 강력한 홀리스틱 판사(Opus 4.6)보다 뛰어난 성능을 보였으며, 강력한 판사가 전체 예산을 받았을 때와 대등한 성능을 보였다.
• 범위: 샤딩의 이점은 결정 부하가 모델의 용량을 초과할 때 발생한다. 결정들이 독립적이고 쉽게 검증 가능한 데이터셋(예: SWE-Bench Pro, FActScore)에서는 샤딩이 이점을 제공하지 않거나 약간 부정적인 효과를 주었다.

2. 과부하된 판사는 적대적 공격에 취로되다

연구는 과부하가 모델이 증거보다는 표면적 단서에 기반해 결정을 내리는 "근거 없는 판결(unsupported verdicts)"로 이어진다는 것을 식별했다.

• 감사 결과: 높은 부하 상황에서 판사들은 기준을 과도하게 통과시키는 경의(false positives)를 범하며, 상당 부분의 결정을 확인하지 않은 채 남겨둔다고 보고한다.
• 공격 성공: Best-of-$N$ 제시 공격은 이러한 사각지대를 성공적으로 공략했다. PaperBench에서, 이 공격은 전문가가 미충족되었다고 판단한 기준의 과잉 수용률을 두 배로 높였다(예: 0.152에서 0.408로). 코드 검증의 경우, 결함이 있는 패치가 통과되는 비율이 0.12에서 0.44로 상승했다.
• 메커니즘: 이 공격은 유리한 제시 방식을 제공함으로써 "확인되지 않은" 결정들을 '수용' 쪽으로 뒤집는다.

3. 샤딩은 부하 기반 공격을 방어한다

샤딩은 모든 기준에 대해 지속적인 정밀 조사를 보장함으로써, 적대자가 목표로 하는 "확인되지 않은 부분"을 제거하여 방어 역할을 한다.

• 효과성: 샤딩은 테스트된 모든 제출물에서 과잉 수용률을 유의미하게 감소시켰다. PaperBench에서 평균 과잉 수용 감소량은 0.090이었으며, 최대 감소량은 0.261이었다.
• 문맥 의존성: 방어 효과는 결정이 거대한 산출물(예: 법률 계약서, 연구 논문)에 대한 통합적 이해를 필요로 할 때 가장 강력하다. 결정이 국소적으로 평가 가능하거나(예: 독립적인 코드 패치) 독립적인 경우에는 효과가 작거나 없다.

4. 적응형 공격에는 반대 의견이 필요하다

샤딩은 누락된 검토를 이용하는 공격에는 방어책이 되지만, 개별 기준에 대해 판사를 설득하는 공격에는 불충분하다.

• 샤딩의 한계: 만약 적대자가 모든 기준에 대해 그럴듯한 논거를 제공한다면, 샤딩만으로는 미충족 기준의 수용을 막을 수 없다.
• 토론/반대(Debate/Opposition): 저자들은 샤딩 위에 반대하는 옹호자(기준에 반대하여 논쟁하는 회의적인 도전자)를 추가하는 것이 적응형 설득 공격을 견뎌내는 데 필요하다는 것을 발견했다.
• 결과: JudgmentBench에서의 적응형 공격에서, 샤딩만 적용된 방어는 공격자가 5라운드에 걸쳐 미충족 기준의 0.55를 수용하도록 허용했다. 반면, 반대 의견을 추가했을 때 이 누적 수치는 0.39로 제한되었다.

5. 샤드 내부 구조는 2차적 요소이다

저자들은 샤드 내의 다양한 통신 구조(조정, 교차 검증, 분해, 합의)를 체계적으로 테스트했다.

• 발견: 주요 이점은 업무 자체의 분할(샤딩)에서 온다. 합의(반대 + 조정)와 같은 추가적인 구조는 비적대적 환경에서 미미한 개선만을 제공하며 비용을 증가시킬 수 있다.
• 권장 사항: 비적대적 정확성을 위해서는 "용량 크기에 맞는" 그룹으로 구성된 일반적인 샤딩이 최적이다. 적응형 공격의 경우, 일방적인 반대 의견($S+O$)이 가장 강력한 방어이며, 조정을 도입하면 때때로 결정적인 이견을 완화시켜 오히려 견고함을 저해할 수 있다.

의의 및 주장

본 논문은 확장 가능한 감시(scalable oversight)의 근본적인 한계를 식 {identifies} 한다: 결정 부하는 총 계산량과는 구별되는 별도의 병목 구간이다. 저자들은 감시 평가 시 토큰이나 도구 예산과 함께 결정 부하를 반드시 보고해야 한다고 주장한다.

• 용량 해석: 저자들은 결정당 주의력(attention)이 예산 항과 부하 항으로 인수분해된다는 용량 설명을 제안한다. 샤딩은 부하 항($n$)을 줄이면서 예산 항을 일정하게 유지함으로써, 모델이 표면적 단서로 결정을 내리는 대신 할당된 모든 결정을 검토할 수 있게 한다.
• 보안 함의: 샤딩은 과부하된 판사에게서 발생하는 "사각지대"를 통한 공격 표면을 차단한다. 그러나 이는 보편적인 방어책은 아니다. 위협 모델이 개별 기준에 대한 적응형 설득을 포함하는 경우, 반드시 반대 메커니즘과 결합되어야 한다.
• 실무적 규칙: 최적의 그룹 크기는 판사의 능력과 결정의 난이도에 따라 달라진다. "용량 크기에 맞는" 그룹화(예: 특정 모델의 경우 호출당 32개 기준)는 호출당 1개의 결정만을 처리하거나 단일 홀리스틱 호출을 하는 것보다 훨씬 효율적이고 정확하다.

저자들은 결론적으로, 샤딩을 통해 더 약한 모델이 더 강력한 홀리스틱 모델보다 뛰어난 성능을 낼 수 있으며, 복잡한 루브릭에 따라 작업물을 검증해야 하는 고위험 영역에서 확장 가능하고 견고한 감시 방법을 제공한다고 밝히고 있다.