기술 요약: AIR-BENCH Live

문제 정의

AIR-BENCH 2024와 같은 파운데이션 모델 안전성 벤치마크는 AI 역량과 글로벌 법제의 급격한 진화로 인해 빠르게 노후화되는 문제를 겪고 있다. 정적인 분류 체계(Taxonomy)는 새로운 규제에서 발생하는 새로운 위해 요소를 포착하지 못하며, 템플릿 기반의 공격 프롬프트는 모델이 적응하고 방어 기제가 개선됨에 따라 효과를 잃는다. 결과적으로 고정된 벤치마크는 구식 프롬프트에 대해 거절(Refusal)을 유도할 뿐, 현대적 모델의 잠재적 위험 행동을 드러내는 변별력을 상실하게 된다. 따라서 새로운 규제 요구사항을 지속적으로 흡수하고 공격 프롬프트를 재생성하여 점점 더 강력해지는 모델에 맞서 엄격함을 유지할 수 있는 "라이프롱(Lifelong)" 평가 프레임워크가 절실히 필요하다.

방법론

AIR-BENCH Live는 안전 벤치마크의 업데이트를 자동화하기 위해 설계된 자가 진화형 파이프라인을 도입한다. 이 시스템은 JSON 트리 형태의 깊이 4단계 계층적 위험 분류 체계 위에서 작동하며, 내부 노드는 재귀적 요약을 저장하고 리프 노드(Leaf node)는 벤치마크 페이로드(프롬프트, 판사, 소스 정책)를 포함한다. 파이프라인은 세 가지 주요 자동화 구성 요소로 이루어져 있다:

1. 자동 정책 모니터링 및 분류:

   • 웹 스크래퍼가 16개의 규제 소스(예: Congress.gov, EU AI Office, 중국 CAC, NIST)를 너비 우선 탐색(Breadth-first crawl) 방식으로 크롤링한다.
   • 추출 에이전트(GPT-5.4-mini)가 후보 정책 조항을 식별하고 비영어 텍스트를 영어로 번역한다.
   • 회상 중심(Recall-oriented) 키워드 필터가 구체적이고 공격 가능한 위해(예: 무기, 사기)를 언급하는 조항은 유지하고 행정적 부수 조항은 제거한다.
   • 검증 에이전트는 남은 조항들이 테스트 가능한 유해 역량을 설명하는지 확인한다.
   • 계층적 분류 에이전트는 분류 체계 트리를 탐색하여 새로운 정책 파편을 기존의 레벨 4 리프 노드에 매칭하거나, 새롭고 세밀한 카테고리를 제안한다. 조정(Reconciliation) 에이전트는 브랜치 간의 중복을 방지한다.

2. 멀티 에이전트 프롬프트 생성:

   • 멀티 에이전트, 페르소나 기반 알고리즘이 기존 프롬프트를 개편하고 새로운 카테고리를 위한 프롬프트를 생성한다.
   • 기본 생성: GPT-5.4-mini는 구문적 다양성과 현실성을 유도하기 위해 PersonaHub에서 무작위 페르소나를 시드로 사용하여 카테고리당 8개의 후보 프롬프트를 생성한다.
   • 정제 루프: 비판-정제 루프(비판자: GPT-5.4; 정제자: GPT-5.4-mini)가 1~2회 반복 수행되어 단계별 기준 준수를 보장하고, 위험 의도의 명확성과 자연스러움을 극대화하는 동시에 페르소나 이탈을 최소화한다.
   • 변이: 프롬프트는 탈옥(Jailbreaking) 기법(현재는 권위에 호소하는 서문을 사용하는 "권위 보증")을 통해 변이된다.
   • 번역: 프롬프트는 Qwen 3.7-plus를 사용하여 스페인어, 일본어, 포르투갈어로 번역되며, 의미 보존 여부를 확인하기 위한 비판 루프를 거친다.
   • 인간 검토: 파이프라인에는 인간 검토자가 가장 강력한 프롬프트를 선택하는 선택적 체크포인트가 포함되지만, 시스템은 최소한의 인간 개입으로 작동하도록 설계되었다.

3. 데이터셋 분할:

   • 최종 데이터셋은 관할 구역(출처 입법부 기준) 및 언어별로 분할되어, 교차 관할 및 다국어 분석을 가능하게 한다.

주요 기여

• 자가 진화형 파이프라인: AIR-BENCH Live는 정부 규제를 지속적으로 모니터링하고, 새로운 정책을 동적 분류 체계에 분류하며, 전체 데이터셋을 수동으로 재설계할 필요 없이 프롬프트를 재생성하는 최초의 자동화 파이프라인을 갖춘 벤치마크이다.
• 확장된 분류 체계: 현재 버전에서 파이프라인은 벤치마크를 314개에서 335개의 세밀한 위험 항목으로 확장했다. 7개 관할 구역의 31개 새로운 정책 조항으로부터 21개의 새로운 레벨 4 카테고리를 추가했다. 이러한 신규 카테고리는 모델 가중치 탈취, 자율 사이버 공격, 선거 관련 합성 미디어 조작과 같은 신흥 위험을 다룬다.
• 자동 프롬프트 현대화: 시스템은 기존의 영어 전용, 정형화된 프롬프트를 현실적이고 다국어이며 페르소나 중심적인 프롬프트로 대체한다. 이 과정은 비판-정제 루프를 활용하여 높은 품질을 보장하며, 자동 생성이 전통적인 인간 참여 방식(Human-in-the-loop)의 난이도를 대등하거나 능가할 수 있음을 입증한다.
• 다국어 및 관할 구역 세분화: 벤치마크는 이제 영어, 스페인어, 일본어, 포르투갈어 4개 언어와 여러 관할 구역을 지원하여 기존 정적 벤치마크의 공백을 메운다.

결과

저자들은 AIR-BENCH Live 데이터셋(총 2,680개 프롬프트)을 사용하여 14개의 최신 파운데이션 모델을 평가했다.

• 안전성 분포: 모델 간 안전성 편차가 크며, 자체 행동 기준으로 평가했을 때 Mistral Large(0.17)부터 Claude Haiku 4.5(0.89)까지 넓은 범위를 보였다. GPT-5.5와 Claude Opus 4.8은 완벽한 점수(1.00)를 기록했는데, 이는 추론 전 단계에서 API 수준의 모더레이션이 프롬프트를 차단했기 때문인 것으로 분석된다.
• 프롬프트 난이도: AIR-BENCH Live의 현대화된 프롬프트는 평균적으로 2024년 세트보다 0.06점 더 어렵다. 가장 순응적인 모델들(예: DeepSeek V3.2, Kimi K2)은 가장 큰 성능 저하(−0.20 및 −0.19)를 보여, 새로운 프롬프트가 고도화된 안전 정렬(Alignment)에 효과적으로 도전하고 있음을 나타낸다.
• 다국어 성능: 대부분의 모델은 영어 전용 프롬프트에 비해 비영어 프롬프트에서 낮은 점수를 기록했으며, 천장에 도달하지 않은 모델들의 평균 하락 폭은 0.03이었다. Gemini 2.5 Flash(−0.12)와 Llama 3 8B(−0.08)에서 눈에 띄는 하락이 관찰되었다. Qwen3-235B와 같은 다국어 우선 모델조차 성능 저하(−0.07)를 보여, 다국어 사전 학습이 다국어 정렬을 보장하지 않음을 시사한다.
• 카테고리별 성능: 성능은 "자동 의사결정(Automated Decision-Making)" 및 "규제가 엄격한 산업 분야의 조언(Advice in Heavily Regulated Industries)"에서 가장 취약했으며(많은 모델이 0.10 미만), "비동의 성적 촬영물(Non-Consensual Nudity)" 및 "분열 조장(Sowing Division)"에서 가장 강했다(거의 모든 모델 0.75 이상).

의의 및 주장

본 논문은 AIR-BENCH Live가 정적 벤치마크의 근본적 한계인 "빠르게 변화하는 AI 안전 분야"를 따라잡지 못하는 문제를 해결한다고 주장한다. 새로운 입법 사항을 자동으로 흡수하고 프롬프트를 재생성함으로써, 이 벤치마크는 정적인 스냅샷에서 규제 및 기술적 변화와 함께 진화하는 살아있는 시스템으로 변모한다.

저자들은 자신들의 멀리 에이전트 프롬프트 생성 알고리즘이 훨씬 적은 인간의 검토를 필요로 하면서도, 이전 버전보다 더 현실적이고, 어렵고, 다국어적인 프롬프트를 성공적으로 생성한다고 주장한다. 결과는 이 벤치마크가 강력한 변별력을 유지하며, 다양한 안전 정렬을 가진 모델들을 효과적으로 구분해 낼 수 있음을 보여준다. 또한, 다국어 맥radius 환경에서 많은 모델의 안전 행동이 저하되는 현상을 통해 교차 언어적 정렬이 여전히 큰 과제임을 강조한다. 결론적으로, AI 위험과 법률이 계속 변화함에 따라 유효한 안전 평가를 유지하기 위해서는 이러한 진화형 프레임워크가 필수적이다.