AI Act Evaluation Benchmark: An Open, Transparent, and Reproducible Evaluation Dataset for NLP and RAG Systems

이 논문은 EU AI 법규 준수를 위한 NLP 및 RAG 시스템 평가를 위해, 도메인 지식과 대규모 언어 모델을 결합하여 위험 분류, 조항 검색, 의무 생성, 질문 답변 작업을 포함한 개방적이고 투명하며 재현 가능한 평가 데이터셋을 구축하고 그 유효성을 입증한 연구입니다.

핵심

이 논문은 **"유럽의 새로운 AI 법규 **(EU AI Act)에 대해 설명합니다.

마치 새로운 교통법규가 생겼을 때, 운전자가 그 법을 잘 지키고 있는지 자동으로 점검해 주는 '스마트 검사관'을 만드는 프로젝트라고 생각하시면 됩니다.

이 내용을 일반인이 이해하기 쉽게 비유와 함께 풀어서 설명해 드릴게요.

---

1. 왜 이 연구가 필요할까요? (문제 상황)

유럽연합 (EU) 은 AI 가 인간에게 해를 끼치지 않도록 엄격한 **새로운 법 **(EU AI Act)을 만들었습니다. 이 법은 AI 를 위험도에 따라 네 가지 등급으로 나눕니다.

• 🚫 **금지 **(Prohibited) 인간을 속이거나 조작하는 AI (예: 얼굴 인식으로 범죄를 예측하는 것).
• ⚠️ **고위험 **(High-risk) 병원, 교통, 채용 등에 쓰이는 중요한 AI.
• ⚡ **제한적 **(Limited-risk) 챗봇처럼 사용자에게 사실을 알려야 하는 AI.
• ✅ **최소 **(Minimal-risk) 스팸 필터나 게임처럼 위험이 거의 없는 AI.

문제는 무엇일까요?
이 법규는 두꺼운 법률 문서로 되어 있어, 개발자들이 "내 AI 가 이 법을 지키고 있을까?"라고 스스로 판단하기가 매우 어렵습니다. 기존에는 법률 전문가가 일일이 손으로 확인해야 했는데, 이는 시간도 많이 들고, 비용도 비싸며, 실수할 가능성도 높습니다. 마치 수천 페이지의 법전을 손으로 일일이 읽어가며 체크리스트를 만드는 것과 같습니다.

2. 이 논문이 제안한 해결책 (해결책)

연구진은 "AI 법규를 가르칠 수 있는 '연습용 문제집'과 '정답지'를 만들자"고 제안했습니다.

• **데이터셋 **(문제집) AI 가 어떤 상황 (시나리오) 에 놓였을 때, 그 AI 가 법적으로 어떤 등급인지, 어떤 법 조항을 위반했는지, 어떤 의무를 지켜야 하는지를 묻는 수천 개의 연습 문제를 만들었습니다.
• **생성 방법 **(스마트한 선생님) 이 문제를 만들 때, 연구진은 법률 전문가의 지식과 최신 AI(대규모 언어 모델)을 함께 사용했습니다.
  • 비유: 법률 전문가가 "이런 상황은 금지되어야 해"라고 규칙을 정해주면, AI 가 그 규칙을 바탕으로 "가상의 운전자가 이런 실수를 했을 때 어떻게 될까?"라는 수백 가지의 가상 시나리오를 자동으로 만들어낸 것입니다.
• 특징: 이 데이터는 누구나 무료로 쓸 수 있고, 컴퓨터가 바로 읽을 수 있는 형식 (JSON) 으로 되어 있어, 다른 AI 시스템들이 이 데이터로 훈련하거나 테스트할 수 있습니다.

3. 이 데이터로 무엇을 할 수 있나요? (활용 사례)

연구진은 이 데이터셋을 이용해 RAG(검색 증강 생성)라는 기술을 테스트해 보았습니다.

• RAG 란 무엇인가?
  • 비유: AI 가 시험을 볼 때, **법전 **(문서)을 옆에 두고 문제를 푸는 것입니다. AI 가 혼자서 외워서 답을 맞추는 게 아니라, 정확한 법 조항을 찾아서 답을 도출합니다.
• 테스트 결과:
  • 이 AI 는 "금지된 AI"와 "고위험 AI"를 구분하는 데 매우 능숙했습니다. (정확도 85~87% 수준)
  • 하지만 "제한적"이나 "최소 위험" 등급을 구분하는 데는 조금 헷갈렸습니다.
  • 이유: 법전에는 금지되거나 고위험인 경우는 명확하게 적혀 있지만, 나머지 "안전한" 경우는 "금지되지 않은 것"으로 역으로 정의되어 있어 경계가 모호하기 때문입니다.

4. 이 연구의 핵심 메시지 (결론)

이 논문은 다음과 같은 중요한 점을 전달합니다:

1. 투명성과 공개성: 이 데이터는 누구나 볼 수 있고, 어떻게 만들어졌는지 과정이 투명합니다.
2. 자동화의 시작: 앞으로는 AI 시스템이 법규를 지키는지 확인하는 일을 사람이 일일이 하는 대신, 이렇게 만들어진 데이터로 훈련된 AI 가 대신 해낼 수 있습니다.
3. 민주화: 법률 전문가가 아니더라도, 이 데이터와 도구를 통해 중소기업이나 일반 개발자도 AI 법규 준수에 쉽게 접근할 수 있게 됩니다.

요약: 한 문장으로 정리하면?

"유럽의 복잡한 AI 법규를 이해하고 준수할 수 있도록, AI 가 스스로 연습하고 시험을 치를 수 있는 '가상 시뮬레이션 데이터'를 만들어서, 법규 준수 과정을 자동화하고 누구나 쉽게 접근하게 만든 연구입니다."

이 연구는 마치 새로운 교통법규가 생겼을 때, 모든 운전자가 법을 잘 지키는지 자동으로 점검해 주는 '스마트 단속 카메라'와 '운전 면허 시험 문제집'을 함께 개발한 것과 같습니다.

기술 요약

논문 요약: EU AI Act 평가를 위한 오픈 및 재현 가능한 벤치마크 데이터셋

1. 문제 정의 (Problem)

• 규제 준수 평가의 어려움: AI 기술의 급속한 확산으로 EU AI Act 와 같은 규제 프레임워크에 대한 준수가 필수적이 되었으나, 이를 평가할 수 있는 자동화된 도구나 리소스가 부족합니다.
• 수동 평가의 한계: 현재 규제 준수는 주로 법률 전문가의 수동 검토에 의존하고 있어 비용이 많이 들고, 오류가 발생하기 쉬우며, 규제 변경에 유연하게 대응하기 어렵습니다.
• 데이터 구조화 부재: 규제 텍스트 (PDF 등) 는 시각화에 최적화되어 있어 NLP(자연어 처리) 모델이 기계적으로 처리하기 어렵습니다. 기존에 존재하는 데이터셋은 문서화되지 않거나 투명성이 부족하여 재현성이 떨어집니다.
• RAG 시스템 평가 부족: 검색 증강 생성 (RAG) 시스템을 포함한 NLP 모델의 규제 준수 능력을 체계적으로 평가할 수 있는 표준 데이터셋이 부재합니다.

2. 방법론 (Methodology)

저자들은 EU AI Act 의 규제 논리를 기계가 이해하고 처리할 수 있는 구조화된 데이터셋을 생성하기 위해 다음과 같은 4 단계 방법론을 제시합니다.

• 규제 논리의 도식화 (Rule Extraction):
  • EU AI Act 의 4 단계 위험 분류 체계 (금지됨, 고위험, 제한적 위험, 최소 위험) 를 기반으로 합니다.
  • 법률 전문가의 도그마적 (doctrinal) 읽기를 통해 Article 5(금지), Article 6(고위험), Article 10 및 50(제한적/투명성) 등의 논리를 추출하고, 이를 결정 트리 (Decision Flowcharts) 로 변환합니다. 이는 모델이 임의로 해석하는 것을 방지하고 인간이 검증한 규칙 기반을 확보합니다.
• 시나리오 생성 프롬프트 엔지니어링:
  • 추출된 규칙 논리를 바탕으로 4 가지 위험 등급별 전용 프롬프트 템플릿을 설계했습니다.
  • 프롬프트는 모델에게 "법률 분석가" 역할을 부여하고, 구체적인 법적 조항을 컨텍스트로 제공하여, 해당 등급에 부합하는 시나리오를 생성하도록 지시합니다.
  • 출력 형식을 JSON 으로 통일하여 기계 간 (Machine-to-Machine) 처리가 용이하도록 했습니다.
• 모델 및 인프라:
  • 모델: gpt-oss-120b (LLaMA.cpp 를 통해 단일 GPU 에서 MXFP4 최적화 실행) 를 사용했습니다. 이는 Apache 2.0 라이선스로 오픈 소스 재사용이 가능합니다.
  • 인프라: 그리드 (GRNET) 의 ARIS 슈퍼컴퓨팅 인프라 (NVIDIA A100 GPU) 를 활용하여 병렬 처리를 수행했습니다.
  • 파라미터: 사실성과 재현성을 보장하기 위해 Temperature 를 낮게 (0.15) 설정했습니다.
• 데이터셋 구성:
  • 총 339 개의 시나리오 (금지: 70, 고위험: 86, 제한적: 84, 최소: 99) 와 3,350 개의 관련 조항, 3,572 개의 의무 사항으로 구성되었습니다.
  • 각 시나리오에는 역할 (Provider/Deployer), 목적, 시스템 유형, 입력 데이터, 도메인, 관련 조항, 의무 사항, 위험 등급 등이 포함됩니다.

3. 주요 기여 (Key Contributions)

• 최초의 EU AI Act 벤치마크 데이터셋: 규제 준수를 위한 NLP 및 RAG 시스템 평가를 위해 설계된 최초의 공개적이고 재현 가능한 데이터셋을 제공합니다.
• 다양한 평가 태스크 지원: 데이터셋은 다음 4 가지 주요 태스크를 지원합니다.
  1. 위험 등급 분류 (Risk-level Classification): 시스템이 금지되거나 고위험인지 판단.
  2. 조항 검색 (Article Retrieval): 관련 법적 조항 찾기.
  3. 의무 사항 생성 (Obligation Generation): 준수해야 할 구체적 조치 생성.
  4. 질문 응답 (QA): 규제 내용에 대한 질의응답.
• 경계 사례 (Edge Cases) 처리: 규제 문맥상 모호한 부분 (예: '제한적'과 '최소' 위험의 경계, '부정적 영향'의 정의 등) 을 포함하여 모델의 추론 능력을 검증할 수 있는 다양한 시나리오를 제공합니다.
• 오픈 소스 및 투명성: 데이터셋과 생성 코드를 GitHub 에 공개하여 연구의 투명성과 재현성을 보장합니다.

4. 실험 결과 (Results)

저자들은 생성된 데이터셋을 사용하여 RAG 기반 시스템의 위험 등급 분류 능력을 평가했습니다.

• 실험 설정:
  • 검색: jina-embeddings-v3 를 사용하여 텍스트를 임베딩하고 Spotify Annoy 알고리즘으로 유사도 검색 수행.
  • 생성: mistral-small3.2 모델을 사용하여 검색된 조항을 컨텍스트로 하여 분류 수행.
• 성능 지표 (F1-Score):
  • 금지 (Prohibited): 0.87 (정밀도 0.86, 재현율 0.89)
  • 고위험 (High-risk): 0.85 (정밀도 0.82, 재현율 0.88)
  • 제한적 (Limited): 0.65 (정밀도 0.51, 재현율 0.88) - 과적합 (False Positive) 경향
  • 최소 (Minimal): 0.45 (정밀도 0.97, 재현율 0.29) - 과소 예측 (False Negative) 경향
• 분석:
  • 금지와 고위험 클래스는 EU AI Act 에서 명확하게 정의되어 있어 모델이 높은 성능을 보였습니다.
  • 제한적과 최소 클래스는 규정이 명확하지 않아 결정 경계가 모호하므로 성능이 상대적으로 낮았습니다. 이는 데이터셋이 이러한 모호한 영역을 식별하는 데 유용함을 시사합니다.

5. 의의 및 시사점 (Significance)

• 규제 준수 자동화의 기반 마련: 법률 전문가의 수동 작업을 줄이고, AI 시스템 개발자가 규제 준수를 자동화하고 검증할 수 있는 표준 벤치마크를 제공합니다.
• 민주화된 AI 개발: 법률 전문가뿐만 아니라 중소기업 (SME), 교육자, 개발자 등 다양한 이해관계자가 규제 내용을 쉽게 접근하고 학습할 수 있도록 돕습니다.
• 신뢰할 수 있는 AI (Trustworthy AI) 촉진: 통계적 모델을 통해 규제 문서의 핵심 논리를 추출하고 표준화함으로써, 규제 준수 AI 시스템의 개발과 배포를 가속화합니다.
• 향후 연구 방향: 데이터셋은 규제 환경의 변화에 따라 지속적으로 업데이트될 수 있으며, 더 정교한 프롬프트 기법이나 대형 모델과의 결합을 통해 모호한 위험 등급 분류 성능을 개선할 수 있는 토대가 됩니다.

이 논문은 EU AI Act 와 같은 복잡한 규제 프레임워크를 NLP 모델이 효과적으로 이해하고 준수할 수 있도록 하는 데 있어 필수적인 인프라를 구축했다는 점에서 중요한 의미를 가집니다.