Red Teaming LLMs as Socio-Technical Practice: From Exploration and Data Creation to Evaluation

이 논문은 생성형 인공지능 (Generative AI), 특히 대규모 언어 모델 (LLM) 의 안전성과 신뢰성을 확보하기 위한 핵심 평가 방법인 **'레드 팀링 (Red Teaming)'**을 단순한 기술적 벤치마크가 아닌 **사회 - 기술적 실천 (Socio-Technical Practice)**으로 재조명합니다. 기존 연구가 공격 성공률이나 기술적 벤치마크에 집중하는 반면, 이 연구는 레드 팀링 데이터셋이 어떻게 정의되고, 생성되며, 평가되는지에 대한 **사회 - 기술적 관행 (Socio-Technical Practices)**을 심층적으로 분석합니다.

다음은 논문의 상세 기술적 요약입니다.

1. 연구 문제 (Problem Statement)

• 현황: 레드 팀링은 보안 분야에서 유래하여 LLM 의 취약점을 발견하고 안전성을 검증하는 표준 관행이 되었습니다.
• 문제점: 기존 연구는 주로 기술적 벤치마크와 공격 성공률 (Attack Success Rate, ASR) 에 초점을 맞추고 있습니다. 이로 인해 데이터셋이 어떻게 정의되고, 생성되며, 평가되는지에 대한 사회 - 기술적 맥락 (사회적 가치, 데이터 작업자의 판단, 맥락적 요소 등) 이 간과되고 있습니다.
• 핵심 쟁점: 해악 (Harm) 은 고정된 개념이 아니라, 프롬프트 선택, 범주 분류, 평가 지표, 협업 방식 등을 통해 **구성 (Constructed)**되는 것입니다. 이러한 구성 과정에서의 선택은 어떤 위험이 발견되고 어떤 위험이 무시될지를 결정하며, 이는 모델의 안전성 장벽 (Guardrails) 과 완화 조치에 직접적인 영향을 미칩니다.
• 연구 질문:
  1. AI 실무자들은 레드 팀링 데이터셋을 어떻게 생성, 개발, 평가하며, 그 이유는 무엇인가?
  2. 레드 팀링 데이터셋 개발 시 실무자들이 필요로 하는 도구와 지원은 무엇인가?

2. 연구 방법론 (Methodology)

• 연구 설계: 반구조화된 심층 인터뷰 (Semi-structured Interviews) 를 통한 질적 연구.
• 참여자: LLM 레드 팀링 데이터셋을 설계, 구축, 또는 재사용하는 22 명의 AI 실무자 (학계, 산업계, 오픈소스 커뮤니티 소속).
  • 참여자 배경: 컴퓨터 과학 전공자, PhD 학생, 연구 과학자, 엔지니어 등.
  • 데이터 생성 방식: 직접 생성 (Create) 한 그룹 (12 명) 과 기존 데이터셋 재사용 (Reuse) 한 그룹 (10 명).
• 데이터 수집 및 분석:
  • Hugging Face, Papers with Code 등에서 공개된 레드 팀링 데이터셋과 관련 논문을 기반으로 참여자를 모집.
  • 인터뷰는 40~60 분간 진행되었으며, 녹음 및 전사 후 **주제 분석 (Thematic Analysis)**을 통해 코딩 및 범주화 수행.
  • 47 개의 하위 코드와 21 개의 상위 코드를 도출하여 주요 주제를 추출.

3. 주요 발견 결과 (Key Findings)

연구는 레드 팀링의 세 가지 핵심 순간 (개념화, 데이터셋 개발, 평가) 에서 발생하는 관행과 한계를 도출했습니다.

3.1 레드 팀링의 개념화 (Conceptualization)

• 학문적 배경에 따른 접근 차이:
  • 강화학습 (RL) 기반 접근: 레드 팀링을 '탐색 (Exploration)' 문제로 간주. 방대한 프롬프트 공간에서 공격 사례를 찾는 것을 목표로 하며, 커버리지 (Coverage), 다양성, 효율성을 주요 평가 기준으로 삼음.
  • 자연어 처리 (NLP) 기반 접근: 레드 팀링을 '부적절 콘텐츠 탐지 (Classification)' 문제로 간주. 사전 정의된 해악 범주 (예: 혐오 표현) 를 기반으로 supervised learning 방식으로 접근하며, 정확도 (F1 score) 등을 중시.
• 상호작용의 복잡성 간과: 대부분의 실무자가 단일 턴 (Single-turn) 프롬프트에 집중하는 반면, 실제 위험은 다중 턴 (Multi-turn) 대화, 은폐된 의도, 문화적/법적 맥락에 따라 달라질 수 있음이 지적됨. (예: 한 번에 거절되던 내용이 다중 대화 후 해로운 정보를 제공하는 경우)

3.2 적대적 데이터셋 개발 (Developing Adversarial Datasets)

• 생성 방식:
  1. 기존 데이터셋 재사용: AdvBench, BeaverTails 등 기존 벤치마크를 활용. (단, 원본 데이터셋의 해악 정의와 편향이 그대로 전수됨)
  2. ゼロ부터 생성 (From Scratch): 연구 목적에 맞춰 새로운 프롬프트를 설계.
  3. 실제 상호작용에서 도출: 실제 사용자의 '재일브레이크 (Jailbreak)' 시도나 대화 로그를 수집.
• 위험의 개념화: 기존 데이터셋을 재사용하는 경우, 데이터셋에 내재된 해악 정의 (Taxonomy) 를 비판 없이 수용하는 경향이 강함. 반면, 직접 생성하거나 실제 상호작용을 분석하는 경우 더 구체적인 맥락과 다양성을 고려하려 시도하지만, 여전히 주관적 판단에 의존함.
• 다양성 부족: 재사용된 데이터셋은 프롬프트의 문법적 변형에 그치는 경우가 많아 실질적인 다양성이 부족하며, 특정 문화권이나 언어 (영어 중심) 에 편향되어 있음.

3.3 평가 (Evaluating Adversarial Datasets)

• 자동화 vs 인간 평가: 대규모 데이터 처리를 위해 LLM 판사 (LLM Judges) 나 분류기를 주로 사용하지만, 일관성 부족 (Inconsistency), 비용 문제, API 접근 제한 등의 한계가 있음.
• 불확실성: 해로운 출력의 기준이 모호함 (예: 허위 정보 생성 vs 실제 위험성, 저작권 위반의 모호성 등).
• 인간 평가의 필요성: 대부분의 실무자가 정밀한 판단을 위해 인간 평가자를 필요로 하지만, 평가자 선정 기준이 명확하지 않고 표준화된 프로토콜이 부재함.

4. 주요 기여 (Key Contributions)

1. 실증적 증거: 레드 팀링 데이터셋을 개발하고 평가하는 실무자들의 실제 관행, 동기, 그리고 데이터 작업 (Data Work) 에 대한 체계적인 실증 데이터를 제공함.
2. 사회 - 기술적 관점의 확장: 레드 팀링이 단순한 기술적 공격이 아니라, **맥락 (Context), 상호작용 유형 (Interaction Type), 사용자 특정성 (User Specificity)**을 고려해야 하는 사회 - 기술적 실천임을 규명.
   • 현재 관행은 이러한 요소들을 간과하여 실제 배포 환경에서의 위험을 제대로 포착하지 못함을 지적.
3. HCI 연구자를 위한 기회 제시: 레드 팀링의 개념과 데이터 관행을 확장하기 위한 구체적인 연구 방향을 제시.

5. 논의 및 제안 (Discussion & Recommendations)

HCI 연구자가 레드 팀링을 지원하기 위해 다음과 같은 세 가지 방향을 제안합니다.

1. 구체적 공동체의 요구를 반영한 상황적 (Situated) 시나리오 설계:
   • 무작위 탐색 대신, 특정 취약 계층 (청소년, 노인 등) 과 실제 배포 환경을 고려한 맥락화된 레드 팀링 시나리오를 설계해야 함.
2. 도메인 전문가 참여를 통한 위험 범주 정의:
   • 일반화된 해악 분류표 (Taxonomy) 에 의존하기보다, 해당 분야 전문가 (예: 법학자, 심리학자, 사회과학자) 와 협력하여 실제 위험을 정의하고 검증해야 함.
3. 단일 출력 평가가 아닌 '구성적 위험 (Compositional Risk)' 평가:
   • 단일 프롬프트 - 응답 쌍이 아닌, 다중 턴 상호작용의 전체 흐름에서 위험이 어떻게 누적되고 변화하는지 평가해야 함. (예: 점진적인 조종, 감정적 조작 등)

6. 의의 (Significance)

• 학문적 의의: AI 안전성 연구에 HCI 의 사회 - 기술적 관점을 도입하여, 기술적 벤치마크 중심의 평가 패러다임을 비판하고 대안을 제시함.
• 실무적 의의: 레드 팀링 데이터셋의 편향과 한계를 인식하게 하여, 보다 포괄적이고 현실적인 모델 안전성 평가 프레임워크 개발의 필요성을 제기함.
• 정책적 함의: EU AI Act 등 규제 강화 흐름 속에서, 규제 준수만을 위한 형식적 레드 팀링을 넘어 실제 사회적 피해를 예방할 수 있는 평가 체계의 중요성을 강조함.

이 논문은 LLM 의 안전성을 보장하기 위해서는 기술적 공격 기법뿐만 아니라, 데이터를 생성하고 평가하는 인간의 판단, 사회적 맥락, 그리고 이해관계자들의 참여가 어떻게 위험의 정의에 영향을 미치는지를 이해하는 것이 필수적임을 강조합니다.