A Study on Question-Answer Dataset for LLM Safety Evaluation with a Focus on Illegal Activities

기술 요약: 불법 활동을 중점적으로 다루는 LLM 안전 평가를 위한 질문 - 답변 데이터셋 연구

문제 제기
대규모 언어 모델 (LLM) 의 광범위한 채택은, 특히 불법 활동을 조장하는 부적절한 사용에 대한 실질적인 우려를 불러일으켰습니다. AnswerCarefully(AC) 와 Do-Not-Answer와 같은 기존 안전 평가 데이터셋이 존재하지만, 저자들은 현재 AC(v2.2) 버전이"악의적 사용"카테고리에 적용될 때 특정 한계를 지적합니다. 주요 문제점은 다음과 같습니다:

• 유형적 모호성: "불법 활동 지원"하위의 말단 수준 카테고리들이 상호 배타적이지 않아, 저작권 침해와 불법 디지털 활동이 중첩되는 등 여러 카테고리에 속할 수 있는 예시들이 단일 레이블로 표기됩니다.
• 법적 근거 부재: 데이터셋이 예시들을 특정 성문법과 일관되게 연결하지 않아, 안전 거부의 법적 근거를 검증하기 어렵습니다.
• 커버리지 격차: 데이터셋은 절도, 교통 위반과 같은 고빈도 범죄에 대한 대표성이 부족하며, 불법성을 인지한 사용자와 무지한 사용자 간의 차이를 충분히 구분하지 못합니다.
• 위험한 예시 부재: 현재 데이터셋은"안전한"답변만 포함하고 있어, 대비 학습이나 모델이 위험한 출력을 인식하도록 훈련시키는 데 활용도가 제한적입니다.

방법론
본 연구는 일본 법률 하의 불법 활동에 초점을 맞춘 AC 데이터셋의 확장을 제안합니다. 방법론은 세 가지 주요 구성 요소를 포함합니다:

1. 확장된 데이터 형식: 저자들은 표준 질문 - 답변 쌍에 다섯 가지 새로운 필드를 추가한 새로운 스키마 (표 4) 를 제안합니다:

   • q-type: 질문자의 불법성 인식 수준 (예: 인식, 무지/무식, 모호) 을 분류합니다.
   • unsafe-answer: (불법 행위를 부추기거나 세부 사항을 설명하는 등) 부적절한 응답의 예시를 제공하여 부정적인 학습 신호로 활용하되, 공개 배포의 윤리적 위험을 명시합니다.
   • basis: 안전 거부를 정당화하는 관련 법적 근거 (법률 및 조항) 를 명시적으로 인용합니다.
   • risk-perpetrator: 잠재적 불법 행위의 책임 주체 (예: 질문자, LLM 제공자, 제 3 자) 를 식별합니다.
   • risk-victim: 잠재적 피해자 (예: 질문자, 제 3 자, 일반 대중) 를 식별합니다.

2. 데이터 생성 전략: 저자들은 종종 간과되지만 다양하고 빈번한 범죄를 다루는 경미한 범죄 처벌법을 기반으로 새로운 예시를 생성하기 위해 두 가지 접근 방식을 탐구했습니다:

   • 완전 수동 생성: 근로자들이 사법 판례와 웹 소스를 유추하여 예시를 생성하며, 저작권이나 개인정보가 직접 재사용되지 않도록 보장합니다. 이를 통해 질문 유형과 같은 속성에 대한 정밀한 제어가 가능합니다.
   • LLM 지원 생성: 특정 법적 조항을 프롬프트로 사용하여 LLM(예: DeepSeek-R1) 이 후보 질문과 답변 초안을 작성하는 반자동 파이프라인입니다. 이후 인간 근로자들이 이러한 초안을 수정하고, 환각 현상을 필터링하며, 법적 정확성을 보장합니다. 이 접근법은 다양성과 커버리지를 개선하는 것을 목표로 합니다.

3. 평가 기준: LLM 응답을 평가하기 위한 채점 기준 (표 6) 이 제안됩니다. 최종 점수는 $score = a \times (b + c) \times d$공식을 사용하여 계산됩니다.

   • $a$(억제): 응답이 행위를 억제하고 대안을 제시하는지 측정합니다.
   • $b$(불법성 언급): 응답이 법적 근거를 올바르게 인용하는지 측정합니다.
   • $c$(위험 언급): 응답이 잠재적 해악을 설명하는지 측정합니다.
   • $d$(유효성): 응답의 관련성과 품질에 대한 이진 확인입니다.
     이 기준은 안전하고 위험한 응답 간의 정량적 차이를 가능하게 합니다 (예: 안전한 답변은 +4 점, 위험한 답변은 -4 점).

주요 기여

• 데이터셋 확장 제안: 법적 근거, 위험 분석, 그리고 위험한 답변 예시를 포함하도록 AnswerCarefully데이터셋을 확장하기 위한 상세 명세.
• 생성 프레임워크: 성문법에 특화되어 수동의 엄격함과 LLM 지원의 효율성 사이의 균형을 맞춘 안전 데이터셋 구축을 위한 검증된 워크플로우.
• 평가 지표: 불법 요청의 거부뿐만 아니라 거부 시 제공된 추론의 품질 (법적 인용 및 위험 설명) 을 평가하도록 설계된 구조화된 기준.
• 기존 데이터 분석: 다중 레이블 분류의 필요성과 고빈도 범죄에 대한 더 나은 커버리지를 강조하는 AC v2.2 에 대한 비판적 검토.

결과 및 발견

• AC v2.2 분석: "불법 활동 지원"하위 집합 (316 개 예시) 중 85% 는 특정 일본 법률과 연결될 수 있었습니다. 형법이 가장 빈번한 법적 근거 (111 개 예시) 였으며, 그 뒤를 다양한 특별법이 이었습니다. 그러나 상당한 격차가 발견되었습니다. 예를 들어, 일본에서 가장 흔한 범죄인 절도는 데이터셋에 단 한 건만 포함되어 있었고, 도로교통법 위반은 전혀 존재하지 않았습니다.
• 질문 인식: 분석된 질문의 약 77% 는 불법성을 명시적으로 인지한 사용자로부터 나온 것이었습니다. 본 연구는 사용자가 불법성을 인지하지 못하는"무지한"질문을 포함하는 것이 중요하다고 주장합니다. 이러한 경우의 안전 거부는 사용자의 악의적 의도를 인식하는 것보다 콘텐츠 이해에 더 의존하기 때문입니다.
• 파일럿 데이터셋: 저자들은 수동 및 LLM 지원 방법을 모두 사용하여 경미한 범죄 처벌법(예: 경찰관 사칭, 폭발물 취급) 에 초점을 맞춘 소규모 데이터셋을 성공적으로 생성했습니다. 이러한 예시들은 제안된 데이터 형식과 기준의 실현 가능성을 입증했습니다.

의의 및 주장
저자들은 본 연구의 결과가 일본 AI 안전 연구소가 이끄는"JAI-Trust"프로젝트와 공유될 것이라고 명시합니다. 이 논문은 그 발견들과 제안된 확장들이 LLM 안전을 위한 대규모 벤치마크 데이터셋개발에 기여할 것이라고 주장합니다.

본 연구는 기존 데이터를 분석하고 소규모 파일럿을 생성했지만, 포괄적인 대규모 데이터셋의 구축과 그 완전한 평가는 향후 과제로 남아 있음을 인정하며 기초적인 단계로 자처합니다. 저자들은"위험한 답변"을 다룰 때 극도의 주의가 필요하다는 윤리적 필요성을 강조하며, 이러한 콘텐츠의 공개 배포 자체가 불법 행위를 조장하는 것이 될 수 있다고 지적합니다. 따라서 본 논문은 위험한 예시로 완전히 채워진 공개 데이터셋을 배포하는 것보다는 생성 및 평가의 방법론에 초점을 맞춥니다.