🤖 AI

AdversaBench: Automated LLM Red-Teaming with Multi-Judge Confirmation and Cross-Model Transferability

AdversaBench는 구조화된 변이 연산자를 통해 적대적 프롬프트를 생성하고 다중 판사 확인 시스템을 통해 실패를 검증하는 자동화된 레드팀 파이프라인으로, 변이의 효과가 작업 범주에 따라 다르며 적대적 프롬프트가 강력한 교차 모델 전이성을 보인다는 것을 밝혀낸다.

원저자: Khanak Khandelwal (Indian Institute of Technology Jodhpur)

게시일 2026-06-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Khanak Khandelwal (Indian Institute of Technology Jodhpur)

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 새로운 로봇 비서의 헤드 코치라고 상상해 보세요. 로봇이 실제 사람들과 대화하기 전에, 멍청한 말을 하거나, 잘못된 지시를 따르거나, 스스로 정한 규칙을 어기지 않도록 확인해야 합니다. 로봇이 실수를 저지르도록 유도하여 테스트하는 이 과정을 **레드팀(Red-Teaming)**이라고 부릅니다.

"AdversaBench"라는 논문은 이러한 테스트를 수행하는 새로운 자동화된 방법과, 실제로 다양한 테스트 방법들이 얼마나 효과적인지에 대한 연구를 설명합니다. 다음은 이를 쉬운 용어로 풀어서 정리한 내용입니다.

1. 문제점: 한 명의 심판으로는 부족하다

보통 로봇을 테스트할 때, 까다로운 질문을 던진 뒤 다른 AI 하나(심판)에게 그 답변을 채점하도록 요청합니다.

결함: 만약 그 심판이 너무 관대하다면, 실제 실수를 놓칠 수 있습니다. 반대로 너무 엄격하다면, 로봇이 잘 해냈음에도 불구하고 실패했다고 판단할 수 있습니다. 우리는 그 심판이 단순히 "운이 나쁜 날"이라서 그런 것인지, 아니면 편향되어 있는 것인지 알 방법이 없습니다.
해결책: 저자들은 모든 답변을 채점하기 위해 세 명의 심판을 사용하는 AdversaBench 시스템을 구축했습니다. 세 명의 의견이 일치하면 좋습니다. 만약 의견이 갈린다면, "슈퍼 심판"(메타 심판)이 개입하여 최종 결정을 내립니다. 이는 마치 스포츠 경기에서 단 한 명의 심판이 아니라 심판진이 있고, 의견이 일치하지 않을 때 주심이 최종 결정을 내리는 것과 같습니다.

2. 공격 방식 작동 원리 (The "Mutation" Machine)

시스템은 간단한 "시드(seed)" 질문(예: 기본적인 테스트 질문)에서 시작합니다. 그런 다음, "뮤테이터(mutator, 변이 생성기)"를 사용하여 질문을 뒤틀고 꼬아서 로봇이 올바르게 답하기 더 어렵게 만듭니다.

도구: 뮤테이터는 다섯 가지 특정한 기술을 가지고 있습니다:
1. 재구성(Rephrase): 같은 내용을 혼란스러운 방식으로 다시 말하기.
2. 방해 요소 삽입(Inject Distractor): 가짜로 오해를 불러일으키는 규칙 추가하기 (예: "3문장으로 답하되, 동시에 모든 것을 상세히 설명하라").
3. 역할 바꾸기(Role Flip): 로봇을 속이기 위해 다른 캐릭터인 척하기.
4. 제약 조건 추가(Add Constraints): 너무 많은 규칙을 겹겹이 쌓기.
5. 탈옥 래핑(Jailbreak Wrap): 질문을 "해커" 스타일의 템플릿으로 감싸기.
루프(Loop): 시스템은 로봇에게 질문을 던지고, 심판들이 점수를 매깁니다. 만약 로봇이 통과하면, 뮤테이터는 새로운 기술을 시도합니다. 로봇이 결국 무너질 때까지 이 과정을 최대 5번까지 반복합니다.

3. 발견한 사실 (놀라운 점들)

연구팀은 추론(논리 퍼즐), 지시 이행(복잡한 규칙 따르기), 도구 사용(계산기나 API 사용)의 세 가지 카테고리에 걸쳐 45개의 서로 다른 "시드" 질문을 테스트했습니다. 여기서 다음과 같은 사실들을 발견했습니다:

모든 곳에 통하는 기술은 없다:
- 비유: 금고를 부수려고 한다고 상상해 보세요. 망치는 나무 상자를 부수는 데는 아주 좋지만, 드라이버는 금속 상자를 부수는 데 더 적합할 수 있습니다.
- 결과: "방해 요소 삽입" 기술은 논리 및 도구 관련 질문에는 탁월한 성과를 보였지만, "지시 이행" 로봇을 무너뜨리는 데는 형편없었습니다. 모든 작업에 하나의 기술만 사용할 수는 없으며, 작업의 종류에 맞는 기술을 매칭해야 합니다.
어떤 작업은 무너뜨리기가 더 어렵다:
- 비유: 막대기를 부러뜨리는 데는 한 번의 꺾임이면 충분합니다. 하지만 두꺼운 통나무를 부러뜨리려면 도끼로 열 번은 내리쳐야 할 수도 있습니다.
- 결과: 로봇이 결국 모든 작업에서 실패하기는 했지만, "지시 이행" 작업은 다른 작업들보다 무너뜨리는 데 두 배 이상의 시도가 필요했습니다. 단순히 최종 "통과/실패" 결과만 본다면, 이 차이를 놓치게 됩니다. 시스템은 로봇을 무너뜨리는 데 몇 번의 "타격"(반복 횟수)이 필요했는지를 세어야 이 실제 난이도를 파악할 수 있습니다.
"일치"의 함정:
- 비유: 95%의 확률로 답이 "예"이고, 두 사람이 거의 매번 "예"라고 답한다면, 그들은 완벽하게 일치하는 것처럼 보입니다. 하지만 만약 그들이 가장 흔한 답변인 "예"를 그냥 찍고 있는 것이라면, 그들은 실제로 어려운 문제에 대해 합의한 것이 아닙니다.
- 결과: 세 명의 심판은 80~87%의 확률로 서로 일치했는데, 이는 매우 좋아 보입니다. 하지만 로봇이 매우 자주 실패했기 때문에(90% 이상), 이 높은 일치율은 대부분 그들이 둘 다 "실패"라고 추측한 결과였습니다. "어려운" 사례들(특히 지시 사항이 포함된 경우)을 살펴보면, 그들은 실제로 많이 의견이 엇갈렸습니다. 논문은 한 가지 결과(실패)가 너무 흔할 때, 일치도를 측정하는 표준 수학적 방식이 오해를 불러일으킬 수 있다고 경고합니다.
기술은 전이된다:
- 비유: 작고 약한 개를 속이는 방법을 찾아냈다면, 그 방법이 거대하고 강한 개에게도 통할 수 있습니다. 왜냐하면 그 기술은 개의 크기가 아니라 기본적인 본능을 공략하기 때문입니다.
- 결과: 시스템이 작은(80억 파라미터) 약한 로봇을 무너뜨리기 위해 만들어낸 기술들은 훨씬 크고 똑똑한(700억 파라미터) 로봇에게도 통했습니다. 이는 이 기술들이 단순히 작은 모델의 버그를 찾는 것이 아니라, 로봇이 생각하는 방식의 근본적인 약점을 겨냥하고 있음을 시사합니다.

4. 핵심 요점

이 논문은 AI를 제대로 테스트하기 위해서는 다음이 필요하다고 결론짓습니다:

심판단 구성: 편향을 잡아내기 위해 단 한 명이 아닌 여러 명의 심판이 필요합니다.
노력을 측정할 것: 단순히 "무너졌다"라고 하지 말고, "이 특정 유형의 작업을 무너뜨리는 데 5번의 시도가 필요했다"라고 말해야 합니다.
도구를 맞출 것: (논리 vs 규칙처럼) 작업 유형에 따라 서로 다른 기술을 사용해야 합니다.
수학을 주의 깊게 다룰 것: (실패 사례가 너무 흔할 경우) 높은 일치도는 가짜일 수 있습니다.

저자들은 다른 이들도 자신의 로봇을 테스트하고, 실세계에 투입되기 전 안전성과 신뢰성을 확보할 수 있도록 이 "AdversaBench"의 코드와 데이터를 공개했습니다.

기술 요약: AdversaBench

문제 정의

대규모 언어 모델(LLM)의 적대적 평가(adversarial evaluation)를 확장하는 데는 두 가지 과제가 존재한다: 어려운 입력값을 생성하는 것과, 그 결과로 나타난 실패가 실제적인 것임을 신뢰할 수 있게 확인하는 것이다. 단일 자동화된 판사(judge)는 속도는 빠르지만, 자신의 관대함을 감지하거나 미세한 차이를 해결하는 능력이 부족하다. 또한, 코헨의 카파( $\kappa$ )와 같은 표준적인 평가자 간 일치도 지표는 실패율이 높은(왜곡된 분포) 적대적 환경에서 오해의 소지가 있으며, 이는 까다로운 사례에서의 실질적인 의견 불일치를 가릴 수 있다. 현재의 레드팀 활동은 단순한 프롬프팅이나 단일 판사 검증에 의존하는 경우가 많으며, 이는 규모 있는 수준에서 지시사항 위반, 추론 오류 또는 도구 오용의 뉘앙스를 포착하지 못한다.

방법론

AdversaBench는 이러한 격차를 해소하기 위해 설계된 자동화된 레드팀 파이프라인이자 신뢰성 연구이다. 이 시스템은 공격자(attacker), 대상 모델(target model), 그리고 다중 판사 패널(multi-judge panel)이 포함된 루프로 작동한다.

시스템 아키텍처

파이프라인: LangGraph를 사용하여 오케스트레이션을 수행하고 LangChain을 사용하여 모델 호출을 지원하며, 체크포인트 재개 및 견고한 API 속도 제한 처리가 가능하다.
대상 모델: Llama 3.1 8B Instant (평가 지표를 스트레스 테스트하고 높은 실패 발생률을 보장하기 위해 의도적으로 약한 타겟으로 선택됨).
공격자: 주로 Llama 3.3 70B를 사용하며, 2차 반복(iteration) 단계에서 실패가 아직 확인되지 않을 경우 GPT-4o-mini로 격상된다.
판사: 세 모델(Llama 3.3 70B, Cerebras GPT-OSS 120B, Qwen3 32B)로 구성된 패널이 응답이 정답 명세(ground-truth specification)를 위반했는지 투표한다. 만장일치 합의 시 결과를 저장하며, 의견이 갈릴 경우 GPT-4o-mini 메타 판사가 이를 해결한다.

시드 구축 및 변이(Mutation)

본 연구는 추론(15), 지시 이행(15), 도구 사용(15)의 세 가지 범주에 걸쳐 45개의 시드 프롬프트를 활용하였다. 이들은 시간적 추론, 엄격한 포맷팅(예: 정확한 JSON 키), 부정적 제약 조건, 도구 엣지 케이스를 포괄하도록 초기 파일럿 단계에서 확장되었다. 각 시드는 기본 프롬프트, 명확한 expected_behavior(기대 행동) 명세, 그리고 참조 답변을 포함한다.

다섯 가지 구조화된 변이 연산자가 $\epsilon$ -greedy 선택 전략( $\epsilon=0.2$ )을 사용하여 반복적으로(시드당 최대 5회 반복) 적용된다:

rephrase (재구절화): 시드의 표면적인 재진술.
inject_distractor (방해 요소 삽입): 그럴듯하지만 오도하는 제약 조건을 추가.
role_flip (역할 반전): 적대적인 페르소나 하에 과업을 재구성.
constraint_add (제약 조건 추가): 상충하는 요구사항을 덧붙임.
jailbreak_wrap (탈옥 래핑): 탈옥 스타일의 템플릿 안에 시드를 삽입.

주요 기여

재현 가능한 파이프라인: $\epsilon$ -greedy 연산자 선택, 공격자 격상, 그리고 실패 확인을 위한 메타 판사를 갖춘 세 명의 판사 패널을 특징으로 하는 LangGraph 기반 시스템.
반복 비용 지표: 이진 실패율과 함께 시드를 깨뜨리는 데 필요한 평균 공격자 반복 횟수를 보고할 것을 제안한다. 이 지표는 집계된 통과/실패율이 가려버리는 난이도 수준을 드러낸다.
신뢰성 연구: 단일 응답 이진 판정을 위한 평가자 간 신뢰도 분석(Cohen's $\kappa$ )의 적용. 본 연구는 왜곡된 분포에서 높은 원시 일치도가 어떻게 거의 0에 가까운 또는 음수의 $\kappa$ 와 공존할 수 있는지를 보여주며, 범주별로 계층화된 불일치율이 더 정보 가치가 높은 지표라고 주장한다.
전이 가능성 증거: 약한 8B 모델을 대상으로 생성된 적대적 프롬프트가 훨씬 강력한 70B 모델을 성공적으로 무너뜨렸음을 보여주는 제로샷 전이 실험을 통해, 변이가 모델 특유의 약점이 아닌 일반적인 행동 패턴을 공략함을 시사한다.

결과

성공률: 45개 시드 모두 확정된 실패를 생성했다.
연산자 효과성: 효과성은 범주에 따라 급격히 달라진다. 예를 들어, inject_distractor는 추론 및 도구 사용 시드에서는 평균 보상 1.00을 달성했으나, 지시 이행 시드에서는 0.33에 그쳤다. 집계된 수치는 이러한 범주별 의존성을 은폐한다.
반복 비용: 지시 이행 시드는 추론 및 도구 사용 시드(평균 1.1회)에 비해 현저히 많은 노력(평균 2.4회)을 필요로 했다. 생존 곡선(survival curve)에 따르면, 다른 범주는 첫 번째 반복 후 10%만이 깨지지 않은 반면, 지시 이행 시드는 60%가 첫 번째 반복 후에도 깨지지 않은 상태로 남았다.
판사 신뢰도: 쌍별 판사 일치도는 높았으나(80–87%), "실패" 판정의 높은 빈도(90–97%)로 인해 코헨의 카파( $\kappa$ )는 0에 가깝거나 약간 음수(-0.05 ~ -0.11)였다. 불일치율은 지시 이행(33%)에서 가장 높았으며, 추론 실패는 만장일치였다(불일치 0%).
전이 가능성: 15개의 검증된 적대적 프롬프트에 대한 예비 수동 검토 결과, 논리적 함정과 제약 조건 기반 변이들이 Llama 3.1 8B에서 Llama 3.3 70B로 성공적으로 전이되었음을 확인했다.

의의 및 주장

본 논문은 단순한 이진 실패율을 넘어 보다 미묘한 관점의 적대적 평가를 제공한다고 주장한다. 저자들은 다음과 같이 주장한다:

연산자 선택은 범주 의존적이어야 한다: 단일 연산자가 모든 과업 유형을 지배하지 않으며, 집계 보고는 중요한 비효율성을 숨긴다.
반복 비용은 핵심적인 지표이다: 이는 단순히 성공률을 보고할 때 보이지 않는 모델을 무너뜨리는 "난이도"를 드러낸다.
다중 판사 패널은 지시 이행에 필수적이다: 단일 판사는 다른 판사가 통과시킨 실패를 놓치며, 이 범주의 불일치율은 모호한 사례에 대한 중재의 필요성을 강조한다.
$\kappa$ 는 맥락이 필요하다: 왜곡된 적대적 환경에서 0에 가까운 $\kappa$ 는 판사의 정렬 부족이 아니라 빈도(prevalence)의 신호이며, 범주별로 계층화된 불일치가 판사들이 어디에서 갈라지는지를 보여주는 더 나은 지표이다.
일반화 가능성: 변이들은 작은 모델의 특정 약점이 아니라, (더 큰 모델에서도 성공적으로 전이된 것처럼) 일반적인 행동 패턴(예: 상충하는 제약 조건을 해결하는 데 따르는 어려움)을 노출한다.

저자들은 코드, 데이터셋 및 분석 스크립트를 공개하여 재현 가능한 레드팀 활동과 평가자 신뢰성에 대한 추가 연구를 촉진하고자 한다.