기술 요약: TriEval – LLM의 편향성, 독성 및 진실성 평가를 위한 자원 효율적 파이프라인

문제 정의

의료, 교육, 정부와 같은 핵심 분야에서 대규모 언어 모델(LLM)의 도입이 급증함에 따라, 안전성과 공정성을 보장하기 위한 강력한 평가 프레임워크가 필수적이 되었습니다. 그러나 기존의 평가 도구들은 다음과 같은 중대한 한계점을 가지고 있습니다:

1. 단일 파라미터 집중: 대부분의 도구는 한 번에 하나의 차원(예: 독성 또는 진실성)만을 평가하므로, 연구자들은 여러 개의 이질적인 도구를 실행하고 결과를 수동으로 상관 분석해야 합니다.
2. 높은 계산 장벽: HELM과 같은 포괄적인 프레임워크는 거대한 GPU 클러스터와 광범한 설정 시간을 요구하며, 이는 독립 연구자나 기관의 지원이 없는 이들에게 접근하기 어렵게 만듭니다.
3. 재현성 문제: 점수 산출을 위해 외부 API(예: Perspective API)에 의존하는 방식은 버전 변경이나 서비스 중단으로 인한 변동성을 초래합니다.
4. 제한된 범위: 많은 벤치마크가 독점 모델(예: GPT 계열)에만 집중하거나, 오픈 소스 모델에 대한 다차원적인 안전성 검토를 제공하지 못합니다.

방법론: TriEval 파이프라인

TriEval은 **편향성(Bias), 독성(Toxicity), 진실성(Truthfulness)**이라는 세 가지 핵심 차원을 동시에 평가하도록 설계된 모듈식의 자원 효율적인 파이프라인입니다. 이 시스템은 모듈성, 재현성, 접근성이라는 세 가지 설계 우선순위를 기반으로 구축되었습니다.

1. 시스템 아키텍처

• 모델 추상화 계층: TriEval은 모델을 쿼리하기 위한 통합 인터페이스를 활용하여, 오픈 소스 모델의 경우 HuggingFace API를 통해, 폐쇄형 모델의 경우 Anthropic API를 통해 요청을 라우팅합니다. 이를 통해 평가되는 모든 모델에 대해 동일한 프롬프트 조건을 보장합니다.
• Judge-LLM 접근 방식: 외부 API에 의존하는 대신, TriEval은 내부 "판사(Judge)"로서 Claude Haiku를 통합하여 모델 응답을 점수화합니다. 이 모델은 XSTest 및 Constitutional AI 원칙에서 유도된 구조화된 루브릭(rubric)을 바탕으로 독성과 편향성을 평가합니다. 이러한 설계는 파이프라인을 자기 완결적이고 재현 가능하게 유지합니다.
• 접근성: 전체 파이프라인은 GPU 클러스터 없이 표준 하드웨어(예: Google Colab 무료 티어)에서 실행됩니다. 실험에 소요된 총 API 비용은 2달러 미만이었습니다.

2. 실험 설계

본 연구는 네 가지 모델, 즉 세 가지 오픈 소스 모델(Meta Llama 3 8B, Mistral 7B, Google Gemma 2 9B)과 한 가지 폐쇄형 모델(Anthropic Claude Haiku)을 평가했습니다.

• 독성 평가:
  • 데이터셋: ToxiGen에서 영감을 얻은 6가지 위해 카테고리(모욕, 신체 비하, 위협, 혐오 표현, 연령 차별, 괴롭힘)를 아우르는 30개의 맞춤형 적대적 프롬프트.
  • 점수 산출: 응답은 0.0~1.0 척도(0.0 = 무해함, 1.0 = 독성 있음)로 점수를 매깁s다. 거절(Refusal) 응답은 안전한 행동을 반영하여 자동으로 낮은 점수(0.05)를 할당했습니다.
• 진실성 평가:
  • 데이터셋: 확신에 찬 환각(hallucination)을 유도하도록 설계된 TruthfulQA 벤치마크의 질문 60개 하위 집합.
  • 점수 산출: 모델은 단일 철자 답변을 제공하도록 지시받았습니다. 정확도는 추출된 철자의 정답 여부를 기준으로 계산되었습니다.
• 편향성 평가:
  • 데이터셋: BiasAsker 방법론을 따르는 30쌍의 프롬프트 쌍. 각 쌍은 인구통계학적 변수(성별, 인종, 종교, 연령, 국적)만 다르게 구성되었습니다.
  • 점수 산출: 판사는 응답을 병렬로 비교하여 감정이나 전문성의 차이를 탐지했습니다.

주요 결과

1. 독성 성능

네 모델 모두 모든 적대적 프롬프트에 대해 성공적으로 거절 응답을 수행하여 강력한 안전 정렬(safety alignment)을 입증했습니다.

• Claude Haiku는 즉각적이고 단호한 거절을 특징으로 하며 가장 낮은 평균 독성 점수(0.050)를 기록했습니다.
• Gemma 2 9B와 Llama 3 8B는 0.060으로 동률을 기록했습니다.
• Mistral 7B는 더 장황하고 사과하는 듯한 거절 양상으로 인해 약간 높은 0.085를 기록했습니다.
• 관찰 사항: 점수의 차이는 유해한 콘텐츠의 생성보다는 거절 스타일과 정렬 튜닝의 차이를 반영합니다.

2. 진실성 성능

• Gemma 2 9B가 83.3%의 정확도를 기록하며 선두를 차지했으며, 폐쇄형 모델인 Claude Haiku를 능가했습니다.
• Mistral 7B는 63.3%, Llama 3 8B는 **40.0%**를 기록했습니다.
• Claude Haiku는 **0.0%**를 기록했습니다. 이는 지식의 결여 때문이 아니라, 모델이 요청된 단일 철자 형식을 따르는 대신 지속적으로 전체 설명을 제공함으로써 자동 추출 로직이 실패했기 때문입니다.
• 관찰 사항: 오픈 소스 모델, 특히 Gemma 2 9B는 형식 제약 조건이 충족될 때 독점 모델과 대등하거나 이를 상회하는 사실적 정확도를 보여주었습니다.

3. 편향성 성능

• 모든 모델은 다섯 가지 인구통계학적 차원에 걸쳐 명시적 편향 탐지에서 **0.0%**를 기록했습니다.
• 미묘한 차이: 명시적인 편향은 발견되지 않았으나, 미묘한 스테레오타이핑이 관찰되었습니다. 예를 들어, Llama 3와 Mistral은 남성 CEO를 "자신감" 및 "결단력"과 같은 특성으로 묘�사한 반면, 여성 CEO는 "공감" 및 "협업"으로 묘사했습니다. 판사는 두 설명 모두 긍정적이고 전문적이었기 때문에 이를 편향으로 분류하지 않았으며, 이는 쌍 기반 프롬프트 테스트가 미묘하고 암묵적인 편향을 탐지하는 데 갖는 한계를 보여줍니다.

4. 검증

TriEval의 진실성 점수는 발표된 TruthfulQA MC1 점수와 피어슨 상관계수 0.935를 보여, 작은 샘플 크기(817개 질문 대비 60개)에도 불구하고 파이프라인의 신뢰성을 검증했습니다.

의의 및 기여

본 논문은 TriEval을 LLM 안전 연구를 민주화하기 위한 중요한 단계로 자리매김합니다. 주요 기여는 다음과 같습니다:

1. 다차원적 효율성: 편별 도구 사용 없이 단 한 번의 실행으로 편향성, 독성, 진실성을 동시에 평가하는 최초의 파이프라인입니다.
2. 자원 접근성: 표준 노트북과 무료 클라우드 티어에서 실행 가능하며 최소한의 API 비용을 사용하여, 막대한 컴퓨팅 예산이 없는 연구자들도 엄격한 안전성 평가를 수행할 수 있게 합니다.
3. 오픈 소스 벤치마킹: 오픈 소스 모델(Llama, Mistral, Gemma)을 폐쇄형 모델과 비교 분석하여, 오픈 소스 모델이 사실적 정확도(Gemma 2 9B)에서 앞서거나 안전성 측면에서 경쟁력을 가질 수 있음을 밝혀냈습니다.
4. 재현성: 내부 판사-LLM 사용과 표준화된 프롬프트 추상화를 통해 외부 API의 변동성과 무관하게 일관되고 검증 가능한 결과를 보장합니다.

저자들은 단일 모델이 모든 차원에서 압도적이지는 않지만, Gemma 2 9B가 외부 API 의존성 없이 사실적 정확도를 우선시하는 애플리케이션에 가장 강력한 오픈 소스 옵션으로 돋보인다고 결론지었습니다. 또한, 작은 프롬프트 세트 크기와 현재 방식이 암묵적 또는 교차적 편향을 탐지하지 못하는 한계를 인정하며, 이를 향후 다국어 테스트 및 레드팀 통합 연구의 토대로 제시하였습니다.