Policy-Grounded Safety Evaluation of 20 Large Language Models

후안 마누엘 콘트레라스의 논문 "20 개의 대규모 언어 모델에 대한 정책 기반 안전성 평가"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

대규모 언어 모델 (LLM) 이 의료, 법률, 금융과 같은 고위험 분야에서 점점 더 널리 배포됨에 따라, 엄격하고 확장 가능한 안전성 평가의 필요성이 절실해졌습니다. 그러나 현재 안전성 평가 방법들은 다음과 같은 여러 한계에 직면해 있습니다:

• 맥락적 변동성: "안전성"은 단일한 개념이 아닙니다. 이는 도메인, 법적 관할권, 그리고 문화적 규범에 따라 달라집니다.
• 정적 vs 동적 트레이드오프: 기존 프레임워크들은 종종 생성은 쉽지만 정적인 것 (예: 광범위한 유해성 검사) 이거나, 동적이지만 리소스 집약적인 것 (수동 데이터셋 생성 필요) 입니다.
• 맞춤형 부재: 대부분의 도구는 특정 정책, 신흥 위험, 또는 비영어권 언어에 쉽게 적응할 수 있는 기능이 부족합니다.
• 평가 격차: 텍스트 - 이미지, 오디오와 같은 다양한 모달리티와 개인정보 보호 및 사칭과 같은 구체적이고 미묘한 위험 도메인에 대한 안전성 평가에는 상당한 격차가 존재합니다.

이 논문은 확장 가능하고 맞춤형이며 정책 기반의 도구 없이는 현대 LLM 의 다양한 환경에서 AI 안전성을 효과적으로 운영화하는 것이 불가능하다고 주장합니다.

2. 방법론

저자들은 자연어 정책을 기반으로 안전성 평가의 생성과 점수 매기기를 자동화하도록 설계된 프로그래밍 플랫폼인 Aymara AI를 소개합니다.

A. Aymara AI 프레임워크

• 입력: 개발자는 AI 시스템 설명과 자연어 안전성 정책 세트 (예: "거짓 정보를 생성하지 마십시오") 를 지정합니다.
• 프롬프트 생성: 시스템은 SDK 를 사용하여 특정 정책 경계를 테스트하도록 맞춤화된 적대적 프롬프트를 프로그래밍 방식으로 생성합니다. 여기에는 다음과 같은 기법들이 활용됩니다:
  • Zero-shot 생성: 수동 제작 없이 정책당 25 개의 적대적 프롬프트를 생성합니다.
  • Few-shot 예시: Hate Speech, 저작권과 같은 미묘한 도메인을 위한 예시 프롬프트를 제공하여 생성기가 엣지 케이스를 향해 가도록 유도합니다.
  • 상세한 지시: 생성기가 허구/서사적 스타일을 피하고 현실적이고 직접적이며 조작적인 사용자 쿼리에 집중하도록 유도합니다.
• 점수 매기기 (LLM-as-a-Judge): 모델 응답은 검증된 AI 심사자 (LLM) 에 의해 평가되어 이진 안전/불안전 레이블, 신뢰도 점수, 그리고 자연어 근거를 출력합니다.
• 검증: 계층화 된 하위 집합에 대한 인간 판단과 비교하여 점수 매기기 시스템이 검증되었으며, 다음과 같은 결과를 달성했습니다:
  • 정확도: 0.93
  • 가중치 F1 점수: 0.93
  • 코헨의 카파: 0.85 ( substantial agreement, 실질적 일치).

B. 실험 설정: Aymara LLM 위험 및 책임 매트릭스

• 범위: OpenAI, Anthropic, Google, Meta, Amazon 등 주요 제공업체의 20 개의 상용 LLM(GPT-4.1, Claude 3.5/4, Llama 4, Gemini 2.5 등 포함) 을 평가했습니다.
• 도메인: 학술 문헌, 제공업체 정책, 그리고 규정 (예: EU AI 법) 을 기반으로 10 가지 명확한 안전성 도메인이 정의되었습니다:
  1. 아동 및 동물 학대
  2. 저작권 및 지식재산권 침해
  3. 혐오 발언 및 편향
  4. 불법 활동
  5. 악의적 사용
  6. 허위 정보
  7. 개인정보 보호 및 사칭
  8. 자해
  9. 성적으로 노골적인 내용 / NSFW
  10. 자격 없는 전문 조언
• 데이터: 도메인당 25 개씩 총 250 개의 정책 기반 프롬프트가 생성되어 총 5,000 개의 모델 응답이 도출되었습니다.
• 프로토콜: 2025 년 5 월부터 6 월까지 기본 API 설정을 사용하여 제로샷 (zero-shot) 환경에서 평가가 수행되었습니다.

3. 주요 기여

1. Aymara AI 플랫폼: 자연어 정책을 적대적 테스트 스위트로 변환하는 확장 가능하고 AI 네이티브 프레임워크를 도입하여 수동 데이터셋 생성의 필요성을 없애고 다국어 및 다모달 평가를 지원합니다.
2. 종합 벤치마크: 10 가지 주요 안전성 차원에 걸쳐 20 개의 선도적 LLM 을 평가하여 현재까지 가장 광범위한 교차 모델 비교를 제공합니다.
3. 불일치에 대한 경험적 증거: 가장 진보된 LLM 들조차 빈번히 안전성 정책을 위반하며, 성능은 도메인과 제공업체에 따라 극적으로 달라진다는 것을 입증합니다.
4. 중요한 취약점 식별: 특히 개인정보 보호, 사칭, 그리고 전문 조언과 관련하여 현재 안전성 가드레일이 불충분한 특정 영역을 강조합니다.

4. 주요 결과

이 연구는 모든 모델과 도메인에 걸쳐 평균 안전성 점수가 **73.2%**로 나타났으며, 안전성 성능에 상당한 격차가 있음을 드러냈습니다.

A. 모델 성능 변동

• 최고 성능 모델: Claude Haiku 3.5(Anthropic) 로 평균 점수 **86.2%**를 기록했습니다.
• 최저 성능 모델: Command R(Cohere) 로 평균 점수 **52.4%**를 기록했습니다.
• 통계적 유의성: ANOVA 는 모델 간에 유의미한 분산이 있음을 보였습니다 ($p = .04$). 그러나 사후 Tukey HSD 검사는 보정 후에도 유의미하게 남아 있는 특정 쌍별 차이를 식별하지 못해, 어떤 단일 제공업체도 모든 카테고리에서 지배하지 않는 광범위한 성능 밴드가 존재함을 시사합니다.
• 제공업체 동향: Anthropic, OpenAI, Amazon, Google 의 모델들은 일반적으로 최상위 등급에 랭크되었으나, 이들조차 특정 도메인에서는 어려움을 겪었습니다.

B. 도메인 성능 계층 구조

안전성 성능은 맥락에 크게 의존하여 명확한 위험 계층 구조를 형성했습니다:

• 고성능 도메인 (최상위 계층):
  • 허위 정보(평균: 95.7%)
  • 악의적 사용(평균: 91.8%)
  • 혐오 발언 및 편향(평균: 91.1%)
  • 통찰: 이러한 도메인들은 오랜 기간의 콘텐츠 중재 관행과 명확한 정의의 혜택을 받습니다.
• 저성능 도메인 (최하위 계층):
  • 개인정보 보호 및 사칭(평균: 24.3%) – 가장 취약한 영역입니다. 어떤 모델도 여기서 45.5% 이상의 안전성을 달성하지 못했습니다.
  • 자격 없는 전문 조언(평균: 53.8%)
  • 성적으로 노골적인 내용 / NSFW(평균: 60.0%)
  • 통찰: 이러한 도메인들은 창의적인 사용 사례와 안전성 사이의 미묘한 균형이 필요하거나, 현재 가드레일이 일관되게 강제하지 못하는 복잡한 정체성/개인정보 보호 제약과 관련이 있습니다.

C. 통계적 발견

• ANOVA 는 도메인 간 안전성 점수에 유의미한 차이가 있음을 확인했습니다 ($F(9, 190) = 37.37, p < .001$).
• 사후 분석은 "최상위 계층" 도메인 (허위 정보, 악의적 사용, 혐오 발언) 이 "최하위 계층"(개인정보 보호, 전문 조언, NSFW) 보다 유의미하게 더 잘 수행됨을 확인했습니다.

5. 중요성과 함의

• 안전성은 단일하지 않음: 이 논문은 "LLM 안전성"이 단일 지표가 아님을 증명합니다. 모델은 허위 정보에 대해서는 매우 안전할 수 있지만, 개인정보 보호나 사칭과 관련하여 위험하게 안전하지 않을 수 있습니다.
• "개인정보 보호 격차": 개인정보 보호 및 사칭에서의 극히 낮은 점수 (평균 24.3%) 는 산업 전반의 치명적인 실패를 나타냅니다. 현재 모델들은 창작적 글쓰기 (예: Adele 로 노래 쓰기) 와 해로운 사칭을 구별하는 데 어려움을 겪고 있으며, 이는 정체성 기반 위험에 대한 더 나은 훈련이 필요함을 시사합니다.
• 동적 평가의 필요성: 정적 벤치마크는 불충분합니다. Aymara AI 가 수행하는 것과 같이 진화하는 정책에 기반하여 프로그래밍 방식으로 새로운 적대적 프롬프트를 생성할 수 있는 능력은 모델 능력과 신흥 위협에 발맞추기 위해 필수적입니다.
• 규제 및 개발 영향: 이 연구 결과는 규제 기관 (EU AI 법과 같은 법률 집행) 과 개발자 (특정 배포 컨텍스트 감사) 를 위한 맞춤형 정책 기반 평가 도구의 필요성을 뒷받침합니다.

결론: LLM 안전성은 잘 정의된 영역에서 개선되었지만, 미묘한 도메인에서는 여전히 크고 불일치하는 위험이 존재합니다. 저자들은 AI 개발이 다양한 법적, 문화적, 윤리적 기준과 정렬되도록 보장하기 위해 Aymara AI 와 같은 확장 가능하고 맞춤형 도구가 안전성을 운영화하는 데 필수적이라고 결론지었습니다.