🤖 AI

Automatic Hard Example Synthesis with Multi-Level Agentic Data Curation

이 논문은 인간의 레이블링 없이도 안전 위반에 대한 멀티모달 거대 언어 모델의 강건성을 크게 향상시키기 위해, 반복적인 가설 생성 및 변이를 통해 도전적인 적대적 예시를 합성하는 자동화된 멀티 에이전트 레드팀 프레임워크를 제안한다.

원저자: Genglin Liu, Muye Zhang, Krishnamurthy Viswanathan, Nichole J. Hansen, Blaž Bratanič, Nathan L Clement, Shalini Ghosh, Ariel Fuxman

게시일 2026-07-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Genglin Liu, Muye Zhang, Krishnamurthy Viswanathan, Nichole J. Hansen, Blaž Bratanič, Nathan L Clement, Shalini Ghosh, Ariel Fuxman

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능형 로봇에게 인터넷상의 위험하거나 부적절한 이미지를 식별하는 법을 가르치고 있다고 상상해 보세요. 이 로봇은 '멀티모달 거대 언어 모델(MLLM)'입니다. 즉, 이미지를 보고 동시에 텍스트를 읽어 무언가가 안전한지 판단할 수 있는 존재입니다. 하지만 까다로운 점은, 나쁜 의도를 가진 사람들이 끊임없이 이 로봇을 속이려 시도한다는 것입니다. 그들은 얼핏 보기에는 안전해 보이지만 실제로는 규칙을 어기는 교묘하고, 이상하며, 혼란스러운 이미지들을 만들어냅니다. 이것은 마치 숨바꼭질 게임과 같은데, '숨는 사람들'이 주변 환경에 더 잘 녹아들도록 점점 더 정교해지고 있는 상황입니다.

로봇을 가르치기 위해 우리는 보통 무엇을 하지 말아야 하는지에 대한 예시를 보여줘야 합니다. 하지만 이런 까다로운 예시들을 찾아내는 것은 매우 어렵습니다. 만약 인간에게 로봇을 속일 수 있는 모든 가능한 방법을 그려내라고 요청한다면, 로봇이 모든 것을 배울 때까지 기다리기도 전에 인간은 먼저 지쳐버릴 것입니다. 여기서 '능동 학습(Active Learning)'이라는 개념이 등장합니다. 이는 컴퓨터가 다음에 어떤 예시로부터 배워야 할지를 스스로 결정하게 만드는 세련된 용어입니다. 하지만 이조차도 예시가 너무 복잡하거나 너무 많아지면 한계에 부딪힙니다. 과학자들이 던지는 핵심적인 질문은 이것입니다. "우리가 로봇에게서 배울 예시들을 스스로 자동으로 만들어낼 수 있는 시스템을 구축할 수 있을까? 그래로 인간이 모든 그림을 일일이 그리지 않고도 로봇을 더 강하게 만들 수 있을까?"

이 논문은 '다층적 에이전트 기반 데이터 큐레이션을 통한 자동 난해 예시 합성(Automatic Hard Example Synthesis with Multi-Level Agentic Data Curation)'이라는 영리한 해결책을 소개합니다. 이것은 디지털 '레드 팀(Red Team)'이라고 생각하면 됩니다. 즉, 안전 로봇을 망가뜨리는 데에만 전념하는 AI 에이전트 그룹입니다. 단순히 하나의 로봇이 추측하는 대신, 저자들은 세 명의 특화된 AI '캐릭터'가 협력하는 팀을 구성했습니다. 첫째, **설계자(Architect)**는 안전 로봇을 속이기 위한 기발한 아이디어(예: "강아지 공장이 귀여운 애완동물 가게 광고처럼 보이게 만든다면 어떨까?")를 구상하는 고차원적 사고가입니다. 다음으로, **운영자(Operator)**는 그 아이디어를 받아 실제로 이미지를 생성합니다. 마지막으로, 다른 AI 심판들로 구성된 **위원회(Committee)**가 생성된 이미지를 검토하여, 그것이 성공적으로 안전 로봇을 속였는지 혹은 너무 뻔한 수준이었는지를 판정합니다.

이 시스템은 비디오 게임 루프처럼 작동합니다. 설계자가 새로운 아이디어를 냅니다. 만약 위원회가 그것을 까다롭고 경계선에 있는 사례라고 동의하면, 시스템은 이를 '난해 예시(hard example)'로 저장합니다. 만약 아이디어가 실패한다면, 시스템은 단순히 버리는 것이 아니라 '탐색 및 변이(Explore and Mutate)'라는 전략을 사용합니다. 이는 완전히 새로운 아이디어를 시도하거나(탐색), 거의 성공할 뻔했던 이전의 아이디어를 약간 수정하여(변이) 더욱 교묘하게 만드는 것을 의미합니다. 저자들은 똑같은 실수를 반복하는 루프에 빠지지 않기 위해, 주로 새로운 아이디어를 시도하되(75%) 가끔씩 기존의 것을 수정하는(25%) 전략이 가장 효과적이라는 것을 발견했습니다.

결과는 매우 인상적입니다. 안전 로봇을 HoliSafe라는 벤치마크로 테스트했을 때, 초기에는 위험한 이미지의 상당 부분을 놓쳤으며, 이를 감지하지 못하는 비율(False Negative Rate)이 41.2%에 달했습니다. 그러나 이 AI 에이전트들이 까다로운 예시들을 생성하고 이를 로봇에게 '학습 가이드'로 보여주는 기술(In-Context Learning)을 사용한 후, 로봇은 훨씬 더 나아졌습니다. 실패율은 24.5%로 크게 감소했습니다. 이는 인간이 그림을 그리거나 데이터를 라벨링하지 않고도 이루어진 성과였습니다. 논문은 AI 에이전트의 '두뇌'(예: Gemini 3 모델)가 더 발전할수록 생성된 예시들이 로봇의 약점을 찾아내는 데 훨씬 더 뛰어나다는 것을 시사합니다.

요약하자면, 이 논문은 우리가 자가 발전하는 안전 시스템을 구축할 수 있음을 보여줍니다. AI 에이전트 팀이 규칙을 깨뜨리기 위해 유희적이고 공격적으로 시도하게 함으로써, 가장 혼란스러운 경계 사례들을 자동으로 찾아낼 수 있습니다. 이는 안전 로봇이 뻔한 트릭이 아닌, 아주 교묘한 것들을 훨씬 더 빠르고 정확하게 식별하도록 돕습니다. 이는 마치 지칠 줄 모르는 창의적인 코치가 선수를 더 강하게 만들기 위해 끊임없이 새로운 훈련법을 발명하여, 로봇이 다음에 나타날 수 있는 어떤 이상하고 위험한 이미지에도 대비할 수 있도록 만드는 것과 같습니다.

기술 요약: 다층 에이전트 데이터 큐레이션을 통한 자동 난해 사례 합성 (Automatic Hard Example Synthesis with Multi-Level Agentic Data Curation)

문제 정의

멀티모달 대규모 언어 모델(MLLM)은 알고리즘적 동반자 관계, 명시적 콘텐츠, 불법 활동과 같은 민감한 주제에 대한 광고 정책 집행 등 미묘한 콘텐츠 안전 및 모더레이션 작업을 수행하기 위해 점점 더 많이 배치되고 있습니다. 그러나 이러한 모델들은 여전히 적대적 공격과 분포 외(out-of-distribution) 엣지 케이스에 취약합니다. 주요 과제는 "알려지지 않은 미지의 영역(unknown unknowns)"입니다. 즉, 해악을 시각적으로 정의하기 어렵고, 악의적인 행위자들이 미묘한 시각적 세부 사항, 왜곡된 텍스트 또는 복잡한 교차 모달 상호작용을 사용하여 지속적으로 진화하는 전술을 사용하는 광범위한 정책 경계 영역입니다.

이를 해결하기 위한 기존의 접근 방식인 수동 주석(manual annotation) 및 표준 능동 학습(active learning)은 새로운 멀티모달 위협의 규모와 복잡성에 대응하기에는 한계가 있습니다. 기존의 레이블링된 코퍼스(corpus)는 커버리지 격차를 겪는 경우가 많아 플랫폼을 새로운 위협에 노출시킵니다. 또한, 거대한 텍스트-이미지 공간에서 다양하고 어려운 경계 사례를 수동으로 큐레이션하는 것은 매우 비효-효율적이며, 인간 전문가의 검토를 필요로 하는 병목 현상을 초상합니다.

방법론

저자들은 인간의 개입 없이 "난해한 사례(hard examples)"(경계에 있는 위반 사례 및 모호한 엣지 케이스)를 체계적으로 발굴하도록 설계된 자동화된 에이전트 기반 데이터 큐레이션 프레임워크를 제안합니다. 이 시스템은 Gemini 3 모델 백본에서 실행되는 멀티 에이전트 아키텍처를 기반으로 한 반복적인 "탐색 및 변이(Explore and Mutate)" 패러다임에 따라 작동합니다.

핵심 아키텍처

프레임워크는 세 가지 주요 구성 요소로 이루어져 있습니다:

설계 에이전트 (Architect Agent, $M_A$ ): Gemini 3.1 Pro를 기반으로 하며, 정책 텍스트와 소수의 시드(seed) 예시를 바탕으로 취약성 가설을 합성합니다. 이 에이전트는 완전히 새로운 가설을 생성하거나 이전에 성공했던 가설을 변이시키기 위해 과거 시도의 영구 메모리 저장소를 활용합니다. 출력값은 구조화된 3부 구성 제안서인 공식 취약성 가설( $h$ ), 상세한 이미지 생성 프롬프트( $p_{img}$ ), 그리고 텍스트 오버레이 아이디어( $t_{overlay}$ )입니다.
운영 에이전트 (Operator Agent, $M_O$ ): Nano Banana Pro에 의해 인스턴스화되며, 설계 에이전트의 프롬프트를 합성 복합 이미지( $x$ )로 구체화합니다.
다층 검증 위원회 (Multi-Level Verification Committee): 모호성을 해결하고 그라운드 트루스(ground truth)를 확립하기 위해 설계된 계층적 LLM 평가자 시스템입니다:
- 레벨 I 위원회 ( $CR_1$ ): 효율적인 모델(예: Gemini 3 Flash)의 독립된 세 인스턴스로 구성됩니다. 이들은 초기 레이블을 제공하고 모호성을 측정합니다.
- 토론 및 배심원 프로토콜 (Debate and Jury Protocols): $CR_1$ 이 만장일치 합의에 도달하지 못할 경우, 시스템은 추론 흔적(reasoning traces)을 결합하여 토론 컨텍스트( $D$ )를 생성합니다. 평가자들은 자신의 입장을 재평가합니다. 불일치가 지속되면, 해당 인스턴스는 더 유능한 Gemini 3.1 Pro 인스턴스 3개로 구성된 **레벨 II 배심원 위원회 ( $CR_2$ )**로 에스컬레이션되어 최종 그라운드 트루스를 선언합니다.

데이터 큐레이션 루프

시스템은 탐색과 변이 과정을 반복적으로 루프합니다. 타겟 모델( $M_T$ )이 레벨 I 위원회의 만장일치 합의와 불일치하는 경우(타겟 오류) 또는 높은 모호성이 존재하는 경우(레벨 I 불일치)의 합성 자산을 아카이브합니다. 이렇게 큐레이션된 데이터셋은 다운스트림의 소수 샷 인컨텍스트 러닝(few-shot In-Context Learning, ICL)을 위한 고품질 신호 역할을 합니다.

평가 전략

프레임워크는 테스트 시점에 검색 증강 생성(RAG)을 채택합니다. 미보지 쿼리 이미지에 대해, 시스템은 큐레이션된 "난해 풀(Hard Pool)"에서 코사인 유사도를 사용하여 가장 의미론적으로 유사한 $k$ 개의 마이닝된 예시를 검색하고 이를 퓨샷 데몬스트레이션으로 통합합니다. 연구는 다음의 영향을 평가합니다:

검색 소스 (Retrieval Source): 난해 풀(Adversarial boundary cases) vs. 일반 풀(Standard consensus cases) vs. 분포 내 풀(In-Distribution Pool, 인간이 레이블링한 데이터).
프롬프팅 (Prompting): 나이브 프롬프팅(Naive prompting) vs. 정책 프롬프팅(Policy Prompting, 전체 텍스트 정책 가이드라인을 앞에 붙임).
생성 백본 (Generation Backbone): Gemini 3 시리즈 에이전트를 사용하는 파이프라인과 Gemini 2.5 시리즈 에이전트를 사용하는 파이프라인 비교.

주요 기여

새로운 멀티 에이전트 아키텍처: 본 논문은 설계자(Architect), 운영자(Operator), 그리고 LLM 평가자 위원회로 구성된 완전히 자동화된 가설 기반의 "탐색 및 변이" 패러다임을 도입합니다. 이 시스템은 난해한 사례를 효율적으로 합성합니다.
계층적 검증 시스템: 높은 모호성을 가진 엣지 케이스를 체계적으로 해결하고 분류하기 위해 듀얼 레벨 위원회 시스템을 도입했습니다. 저자들은 생성 전략(신규 탐색 75% vs. 변이 25%)의 균형을 맞추는 것이 정체 현상을 방지하고 난해한 사례 발견을 극대화하는 데 최적임을 입증했습니다.
ICL 전략의 엄격한 평가: 정책 중심의 프롬프팅과 동적 검색의 결정적 중요성을 강조합니다. 연구는 난해 사례가 큐레이션된 풀로부터 검색하는 것이 제로샷 베이스라인에 비해 인간의 레이블링 없이도 False Negative Rate(FNR)를 HoliSafe 벤치마크에서 41.2%에서 24.5%로 크게 낮춘다는 것을 보여줍니다.

결과

프레임워크는 공개된 HoliSafe-Bench와 익명화된 내부 독점 광고 안전 데이터셋에서 평가되었습니다.

정책 프롬프팅의 영향: 프롬프트에 명시적인 정책 텍스트를 포함하는 것은 강력한 탐지를 위한 필수 전제 조건이었습니다. HoliSafe에서 이는 FNR을 0.869(나이브 제로샷)에서 0.412로 낮추었습니다.
난해 사례의 효과: 합성된 난해 사례의 동적 검색은 FNR을 0.245까지 더욱 낮추었습니다(정책 포함 제로샷 베이스라인인 0.412보다 유의미한 개선). 난해 풀(Hard pool)에서의 검색이 일반 풀이나 결합된 풀보다 일관되게 우수한 성능을 보였습니다.
에이전트 역량의 역할: 큐레이션 파이프라인의 품질은 결과에 큰 영향을 미쳤습니다. Gemini 3.1 Pro Architect를 사용하는 Gemini 3 시리즈 파이프라인은 0.245의 FNR을 달성한 반면, Gemini 2.5 시리즈 파이프라인은 0.405를 기록하여 제로샷 베이스라인보다 겨우 개선된 수준을 보였습니다. 이는 미묘한 실패 모드를 합성하기 위해 고급 추론 능력이 필수적임을 시사합니다.
최적의 구성: 가설의 신규 vs. 변이 비율에 대한 절제 연구(ablation study) 결과, 75% 신규 / 25% 변이 분할이 가장 높은 난해 사례 발견율(16.7% 히트 레이트)을 보였으며, 이는 에이전트가 국소 최적점(local optima)에 갇히는 것을 방지했습니다.
컨텍스트 크기: 고정된 퓨샷 크기 k=4가 성능과 지연 시간 사이의 균형을 맞추는 데 최적임이 밝혀졌습니다.

의의 및 주장

본 논문은 이 프레임워크가 고위험, 모호함 또는 빠르게 진화하는 위험 환경에서 MLLM의 정렬(alignment)을 평가하고 개선하기 위한 확장 가능한 솔루션을 제공한다고 주장합니다. 복잡한 엣지 케이스를 자율적으로 표면화함으로써, 시스템은 인간의 비용이 많이 드는 주석 작업이라는 병목 현상 없이 새로운 시각적 위협에 선제적으로 대응할 수 있도록 합니다.

저자들은 이 접근 방식이 단순히 취약점을 탐지하는 속도를 높일 뿐만 아니라, 정책 자체의 근본적인 모호성을 드러낸다고 강조합니다. 이들은 이를 전술적인 프롬프트 조정에서 콘텐츠 안전을 위한 구조적 아키텍처 설계로의 전환이라고 규정합니다.

인정된 한계점:

프런티어 모델에 대한 의존성: 파이프라인의 성공은 기반이 되는 파운데이션 모델(예: Gemini 3 시리즈)의 추론 능력에 크게 의존합니다.
합성-실제 간의 격차 (Synthetic-to-Real Gap): 운영 에이전트가 다양한 시나리오를 생성하지만, 특정 실제 적대적 공격(예: 다중 이미지 복합 레이아웃, 표적 타이포그래피 공격)을 표준 확산 생성기(diffusion generator)로 정확하게 재현하는 것은 여전히 도전적인 과제입니다.
추론 오버헤드: 동적 RAG는 제로샷 예측에 비해 지연 시간을 유발하지만, 저자들은 이 예시들을 압축된 학생 모델(student models)로 증류(distill)하는 향후 연구 방향을 제시했습니다.
정밀도-재현율 트레이드오프 (Precision-Recall Trade-off): 난해한 사례를 공격적으로 채굴하면 결정 경계가 더 보수적인 태도로 이동하여, False Negative(미탐)를 크게 줄이는 대신 False Positive(오탐)를 증가시켜 정밀도가 약간 저하될 수 있습니다.