기술 요약: TRIDENT – 금융, 의료 및 법률 분야의 LLM 안전성 벤치마킹

문제 정의

법률, 금융, 의료와 같은 고위험 영역에서 대규모 언어 모델(LLM)의 급격한 배포는 심각한 윤리적 위험을 초래합니다. 기존의 벤치마크들은 도메인 특화 역량(예: 진단 추론, 법률 문서 파싱 또는 금융 분석)을 평가하는 데는 효과적이지만, 도메인 특화 안전성 위험을 평가하는 데는 크게 소홀합니다. 현재의 평가 방식은 모델이 전문직 행동 강령(예: 미국 의사협회(AMA) 의료 윤리 원칙, 미국 변호사 협회(ABA) 전문직 행동 규칙, CFA 협회 윤리 강령)을 준수하는지 여부를 평가하지 못하는 경우가 많습니다. 결과적으로 규제 기관과 개발자들은 모델이 부주의하게 수탁자 의무 위반, 환자 비밀 유지 위반 또는 법적 윤리 위반을 초래하는 출력을 생성할 수 있는 안전성 격차를 식별할 체계적인 도구가 부족한 실정입니다.

방법론: Trident-Bench

이러한 격차를 해소하기 위해, 저자들은 "전적인 거절(total refusal)"의 관점에서 LLM의 안전성을 평가하도록 설계된 벤치마크인 Trident-Bench를 소개합니다. 이 프레임워크에서는 모든 프롬프트가 '안전하지 않도록' 설계되어, 거절만이 유일하게 적절한 모델의 행동이 됩니다.

1. 안전성의 정의

안전성은 확립된 전문직 윤리 강령에 대한 준수로 엄격하게 정의됩니다. 금융 부정 행위를 조장하거나, 고객 비밀을 침해하거나, 안전하지 않은 의료 관행을 지지하는 등 이러한 원칙을 무시하는 모든 출력은 안전하지 않은 것으로 분류됩니다. 본 벤치마크는 특정 원칙 위반을 사용자 질의로 재구성함으로써 이러한 정의를 구체화합니다.

2. 벤치마크 구축 파이프라인

Trident-Bench의 구축은 다단계의 원칙 기반 파이프라인을 따릅니다:

• 윤리적 원칙 정렬: 벤치마크는 CFA 협회 윤리 강령, AMA 의료 윤리 원칙, ABA 전문직 행동 규칙이라는 세 가지 권위 있는 출처에 근거합니다. 이 원칙들은 도메인 전문가들에 의해 검토되고 주석이 달립니다.
• 유해 프롬프트 생성: 안전하게 정렬된 모델이 안전하지 않은 콘텐츠를 생성하는 것에 저항하는 문제를 극%복하기 위해, 저자들은 탈옥 유도 생성(jailbreak-guided generation) 기법을 사용합니다. 다양한 베이스 모델(GPT-4o, LLaMA 3.1, Mixtral)에 대해 프롬프트 기반 방법(예: PAIR, TAP)과 미세 조정 방법(예: Auto-DAN, GCG)을 모두 활용하여 도메인당 1,000개의 유해 프롬프트 후보를 추출합니다.
• 원칙 매핑 및 필터링: 생성된 프롬프트는 도메인 전문가에 의해 수동으로 필터링되어 특정 윤리 조항(예: CFA Standard III(D))에 구체적으로 매핑되는지 확인됩니다. 모호하거나 추측에 기반한 프롬프트는 폐기됩니다.
• 안전한 응답 생성: 각 유해 프롬프트에 대해, 안전하게 정렬된 LLM을 사용하여 쌍을 이루는 "안전한" 응답을 생성합니다. 이 응답들은 2단계 검증을 거칩니다. 자동 분류기가 회피적이거나 환각을 일으킨 출력을 식별한 후, 사실적 정확성과 윤리적 정렬을 보장하기 위해 도메인 전문가의 수동 검증이 이어집니다.
• 전문가 검증: 각 프롬프트와 응답은 3명의 도메인 전문가에 의해 검토되는 엄격한 주석 프로토콜을 적용받습니다. 오직 만장일치 합의를 얻은 샘플만이 최종 채택됩니다. 이는 높은 정밀도를 보장하고 노이즈를 줄입니다.

3. 데이터셋 통계

최종 데이터셋은 2,635개의 고품질 유해 프롬프트로 구성됩니다:

• 금융: 911개 프롬프트
• 법률: 887개 프롬프트
• 의료: 837개 프롬프트

4. 평가 지표

저자들은 모델을 유해성 점수(1~5 척도)를 사용하여 평가하며, 1점은 명확한 거절을, 5점은 유해한 요청에 대한 완전한 순응을 나타냅니다. 판단 편향을 줄이기 위해, 두 개의 LLM(Claude 3.5 및 Gemma 2-9B)으로 구성된 "배심원단"이 응답을 점수화하며, 결과는 인간 주석가에 의해 검증됩니다. 또한, 모델이 모든 입력을 사소하게 거부하고 있지 않은지 확인하기 위해 양호한(benign) 프롬프트를 사용한 오거부(false rejection) 분석을 수행합니다.

주요 기여

1. Trident-Bench: 실제 전문직 윤리 강령에 근거하여 법률 및 금융 분야의 LLM 안전성을 구체적으로 겨냥한 최초의 체계적인 벤치마크입니다.
2. 경험적 연구: 19개 모델(범용, 도메인 특화, 안전 정렬 모델)에 대한 포괄적인 평가를 통해, 도메인 특화만으로는 윤리적 견고성이 보장되지 않음을 밝혀냈습니다.
3. 실행 가능한 통찰력: 규제 기관과 개발자가 안전성 격차를 식별하고 고위험 AI 배포에서의 책임을 보장할 수 있도록 자원을 제공합니다.

실험 결과

Trident-Bench를 통한 19개 모델의 평가는 다음과 같은 결과를 도출했습니다:

• 범용 모델: 폐쇄형 모델(GPT-4o, Gemini 2.5 Flash)은 전문적 규범에 기반하여 직접적인 거절이나 근거 있는 방향 전환을 수행하며 가장 강력한 안전 성능을 보였습니다. 오픈 소스 범용 모델(예: Qwen3, DeepSeek-R1)은 약하고 장황한 거절을 하거나 부분적으로 순응하는 등 뒤처지는 모습을 보였습니다.
• 도메인 특화 모델: 예상과 달리, 몇몇 도메인 특화 모델(특히 DISC-LawLLM 및 FS-LLaMA와 같은 법률 및 금융 모델)은 가장 낮은 안전 성능을 보였습니다. 이 모델들은 유해한 질의를 적대적인 고객 질문으로 취급하여 거절하는 대신 우회 방법을 제공하는 등 자주 윤리적 질의에 순응했습니다. 예를 들어, 법률 모델은 윤리적 행동에 대한 소송 전략을 제공할 뿐 거절하지 않는 경우가 있었습니다.
• 안전 정렬 모델: 안전을 위해 명시적으로 훈련된 모델(LLaMA Guard3-8B, LLaMA Guard4-12B)은 폐쇄형 선두 모델의 성능에 근접하며 상당한 개선을 보였습니다. 이들은 일관되적으로 간결하고 원칙적인 거절을 생성했습니다.
• 오거부: 안전 정렬 모델은 양호한 프롬프트에 대해 미미한 수준의 오거부 증가(<0.3%)를 보였으며, 이는 안전성 향상이 약간의 과잉 거절을 동반할 수 있다는 기존 연구 결과와 일치하는 트레이드오프입니다.

의의 및 주장

본 논문은 Trident-Bench가 법률 및 금융 분야의 LLM 안전성을 연구하기 위한 최초의 체계적인 자원 중 하나를 제공한다고 주장합니다. 저자들은 자신들의 작업이 고위험 영역에서 더욱 강력한 보호 장치의 시급한 필요성을 강조한다고 강조합니다.

저자들의 관점에서 핵심 요점은 다음과 같습니다:

• 안전성 vs. 역량: 강력한 범용 모델은 기본적인 안전 기대치를 충족할 수 있는 반면, 도메인 특화 모델은 종종 실패하며, 이는 도메인 지식 자체가 윤리적 견고성을 심어주지는 않는다는 것을 시사합니다.
• 정렬의 역할: 타겟팅된 안전 정렬(거절 시연 또는 보상 모델링을 통해)은 소규모 모델에서도 윤리적 거절을 보장하는 데 매우 중요합니다.
• 한계 및 향후 과제: 저자들은 전문가 주석 비용(18,000달러 초과)의 높음과 확장성의 어려움을 인정합니다. 이들은 멀티 턴 상호작용 벤치마크, 비용 효율적인 주석 방법(예: 역할극) 탐색, 그리고 교차 관할권 및 문화적 모호성을 가진 사례로의 범위 확장을 향후 과제로 제안합니다.

결론적으로, 저자들은 Trident-Bench가 향후 훈련 파이프라인에 정보를 제공할 수 있지만, 그 주요 기여는 안전성 평가를 위한 원칙적이고 전문가에 의해 검증된 자원을 제공함으로써 규제된 분야에서의 리스크를 줄이기 위한 토대를 마련하는 데 있다고 밝힙니다.