기술 요약: 상세한 헌법적 정의와 AI 기반 평가를 통한 라벨링 일관성 개선

문제 진술

자동화된 라벨링 파이프라인, 특히 콘텐츠 규제 분야는 작성된 카테고리 명세에서 도출된 "골든 라벨"에 의존합니다. 그러나 표준 정의(종종 한두 문장)는 엣지 케이스를 일관되게 해결하는 데 필요한 세밀함이 부족합니다. 정의가 너무 간략할 경우, 인간 주석가와 대형 언어 모델(LLM)은 작성된 규칙 대신 내부 훈련 사전 지식이나 직관에 의존하게 됩니다. 이로 인해 라벨링 정확도와 일관성에 상당한 편차가 발생하며, 특히 서로 다른 모델이나 주석가가 동일한 짧은 정의를 다르게 해석할 때 두드러집니다. 또한, 인간의 작업 기억 한계로 인해 주석가들은 복잡하고 규칙이 많은 명세를 유지하지 못해 이를 휴리스틱으로 압축하게 됩니다.

방법론

저자들은 헌법적 명세를 중심으로 한 AI 기반 워크플로우를 제안합니다. 이전의 "헌법적 AI" 작업이 행동 원칙이나 런타임 강제에 중점을 둔 것과 달리, 이 접근법은 헌법을 일관된 골든 라벨을 하류 프로세스에 생성하기 위해 설계된 상세한 카테고리별 운영 명세로 간주합니다.

1. 헌법 구조

각 카테고리 (예: 괴롭힘, 혐오 표현, 비폭력 범죄) 는 다음을 포함하는 구조화된 마크다운 문서 (~300+ 줄) 로 정의됩니다:

• 정의 및 결정 논리: 긍정적 분류를 트리거하는 명시적 규칙.
• 필수 요소: 모두 충족되어야 하는 특정 기준.
• 라우팅 및 경계 노트: 인접 카테고리 및 엣지 케이스에 대한 판정 (예: 정치적 비판과 괴롭힘 구분).
• 작동 예시: 긍정 및 부정 사례에 대한 단계별 추론.
• 이중 축 구성: 카테고리당 두 개의 독립적인 이진 라벨:
  • 의도: 해를 입히거나 얻으려는 시도.
  • 내용: 대화에 나타나는 유해한 자료.
  • 참고: 평가는 개별 메시지가 아닌 전체 대화에 대해 수행되어 다중 턴 공격과 점진적 격화를 포착합니다.

2. 작성 및 정제 파이프라인

워크플로우는 "인간이 지시하고 AI 가 실행하는" 패턴을 따릅니다:

• 작성: 인간이 간극 (예: 오분류 또는 새로운 공격 패턴) 을 식별하고 AI 에게 헌법 수정을 지시합니다.
• 크로스 모델 검증: 헌법은 다양한 벤더 (예: OpenAI, Anthropic, Google) 의 여러 최첨단 LLM 을 사용하여 프로덕션 대화에 적용됩니다. 이러한 모델 간의 불일치는 명세의 모호하거나 불완전한 부분을 나타내는 진단 신호로 간주됩니다.
• 정제 루프: 에이전트 기술이 불일치를 특정 헌법 섹션으로 추적하고, 표적 패치를 작성하여 인간 검토를 위해 제출합니다. 병합되면 헌법이 재검증됩니다. 이 반복 과정을 통해 암시적 판정이 명시적 판정으로 전환됩니다.

3. 평가 설정

이 접근법은 괴롭힘, 비폭력 범죄, 혐오 표현의 세 가지 카테고리로 평가되었습니다.

• 데이터셋: 정의 편차 및 평가자 합의 측정을 위한 HarmBench와 현실적인 프로덕션 조건 하의 크로스 모델 안정성 평가를 위한 WildChat.
• 베이스라인: 네 가지 출판된 분류 체계 (OpenAI, Llama Guard 3, MLCommons AILuminate, AEGIS), 단락 수준의 정의, 그리고 최종 정제된 헌법을 포함한 여섯 가지 정의 소스를 비교했습니다.
• 지표: 1,000 건의 대화당 쌍별 불일치율 및 세 평가자 만장일치 (동일한 헌법을 읽는 세 명의 인간 주석가 vs 세 명의 최첨단 LLM 비교).

주요 결과

1. 크로스 모델 불일치 감소

헌법적 접근법은 서로 다른 LLM 간의 불일치를 크게 감소시켰습니다.

• WildChat에서 크로스 모델 불일치는 단락 수준 정의에 비해 최대 57 배 감소했습니다.
• 최첨단 모델 (예: GPT-5.4, Opus 4.6, Gemini 3.1) 의 경우 불일치율이 1,000 건당 3 건 미만으로 떨어졌으나, 단락 정의의 경우 1,000 건당 2 건에서 66 건까지 다양했습니다.
• 감소는 비폭력 범죄와 같은 광범위한 카테고리에서 가장 극적이었으며, 여기서 짧은 정의는 하위 유형을 해결하지 못했으나 헌법은 명시적 경계 판정을 제공했습니다.

2. 명세 적용에서 인간 대비 LLM 의 우위

규칙 적용에 있어 인간이 금표준이라는 가정과 달리, 이 연구는 동일한 헌법을 읽는 세 명의 최첨단 LLM 이 동일한 문서를 읽는 세 명의 인간 주석가보다 더 높은 만장일치를 달성했다고 발견했습니다.

• 비폭력 범죄: LLM 비만장일치율은 1,000 건당 84.2 인 반면 인간은 301.0 이었습니다.
• 괴롭힘: LLM 비만장일치율은 37.9 인 반면 인간은 43.4 였습니다.
• 분석: 인간 주석가는 종종 멀티 레이블 분류를 단일 레이블로 처리하거나 (한 카테고리를 다른 카테고리보다 선택) 구체적인 결정 논리를 적용하지 않고 표면적 유해성을 플래그하는 실수를 범했습니다. 반면 LLM 은 각 카테고리를 독립적으로 평가하고 전체 문서 컨텍스트를 일관되게 적용했습니다.

3. 불일치의 진단적 가치

크로스 모델 불일치는 효과적인 진단 도구로 작용했습니다. 최첨단 모델 간의 잔여 불일치 대부분은 지시 따르기 실패가 아니라, 헌법이 여러 조항을 적용했으나 사용자 의심에 대한 공유된 사전 지식이 없는 진정한 모호함이었습니다. 이러한 사례는 "보수적 입장"을 정제하고 특정 경계 판정을 추가하는 데 사용되었습니다.

중요성 및 주장

이 논문은 카테고리별 구조화된 헌법과 LLM 합의 패널의 결합이 정확하고 일관되며 감사 가능한 골든 라벨을 생성하기 위한 확장 가능한 솔루션을 제공한다고 주장합니다.

• 인간 역할의 변화: 인간의 역할은 편차와 인지 과부하에 취약한 대화별 주석에서 명세 작성 및 불일치 분류로 전환됩니다.
• 운영 정밀도: 이중 축 (의도/내용) 구성은 하류 소비자 (예: 안전 팀, 고객 지원) 에게 명확한 신호를 제공합니다. 예를 들어, 시스템이 모델이 요청을 거부했더라도 반복 가해자를 조사하기 위해 "내용 없는 의도"를 기록할 수 있으며, 이는 단일 레이블 시스템에서 손실되는 구분입니다.
• 확장성: 이 접근법은 AI 가 인간의 작업 기억 용량을 초과하는 복잡한 명세를 유지하고 정제할 수 있음을 보여주며, "골든 라벨"이 서로 다른 모델과 시간에 걸쳐 안정적으로 유지되도록 보장합니다.

저자들은 AI 생성 패치를 CI/CD 파이프라인에 투입하기 전에 더 나은 필터링이 필요하다는 점과 현재 모델이 매우 길거나 복잡한 예외 목록을 처리하는 데 어려움을 겪을 수 있다는 점을 한계로 지적합니다. 그러나 핵심 발견은 짧은 정의나 인간 직관에 의존하는 것보다 AI 기반 검증을 통해 강제된 더 엄격한 명세가 더 일관된 안전 결과를 산출한다는 것입니다.