Quality Assessment of Public Summary of Training Content for GPAI models required by AI Act Article 53(1)(d)

논문 요약: AI 법 (AI Act) 제 53 조 (1) (d) 에 따른 GPAI 모델 훈련 콘텐츠 공개 요약의 품질 평가

1. 문제 정의 (Problem)

• 배경: EU 의 인공지능법 (AI Act) 은 일반 목적 AI(GPAI) 모델 제공자에게 훈련에 사용된 콘텐츠에 대한 "충분히 상세한 공개 요약 (Public Summary)"을 게시할 의무를 부과합니다 (제 53 조 1 항 d). 이 조항의 목적은 훈련 데이터에 대한 투명성을 높이고, 지적재산권 (IP), 저작권, 데이터 보호와 관련된 권리 주체가 권리를 행사할 수 있도록 하는 것입니다.
• 현황: AI 오피스 (AI Office) 는 2025 년 7 월 공통 템플릿을 발표했으나, 2026 년 1 월 기준 주요 GPAI 제공자들은 아직 이 요약을 공개하지 않았거나, 공개된 경우에도 품질이 낮아 의도된 투명성과 책임성을 달성하지 못하고 있습니다.
• 핵심 문제:
  • 제공된 요약이 얼마나 투명하고 유용한지 평가할 수 있는 표준화된 방법론이 부재함.
  • 제공자들이 어떻게 고품질의 요약을 작성해야 하는지에 대한 명확한 가이드라인이 없음.
  • 규제 기관 (AI 오피스) 이 요약의 품질을 체계적으로 감시하고 평가할 수 있는 도구가 없음.
  • 악의적인 회피 (bad faith implementations) 나 모호한 정보 제공으로 인한 '투명성 회피' 위험 존재.

2. 방법론 (Methodology)

저자들은 문서 품질 평가 프레임워크 (Documentation Quality Assessment Framework) 를 개발하여 공개 요약의 품질을 정량적으로 평가했습니다.

• 프레임워크 개발 기반:
  • 기존 기술 문서, 소프트웨어 문서, 데이터 품질 평가에 관한 학술 문헌 (ISO 표준, FAIR 원칙 등) 을 검토하여 16 가지 품질 속성을 도출했습니다.
  • AI Act 의 목적 (투명성, 책임성, 권리 강화) 에 부합하도록 두 가지 주요 차원 (Transparency, Usefulness) 으로 재구성했습니다.
• 평가 차원 (Dimensions):
  • 투명성 (Transparency): 제공된 정보의 명확성 (Clarity), 완전성 (Completeness), 일관성 (Consistency), 정확성 (Correctness).
  • 유용성 (Usefulness): 정보의 접근성 (Accessibility), 이해 가능성 (Comprehension).
• 평가 구조:
  • AI 오피스 템플릿을 8 개의 섹션 (일반 정보, 공개/비공개 데이터 소스, 크롤링 데이터, 사용자 데이터, 합성 데이터, 데이터 처리 등) 으로 분할.
  • Goal-Question-Metric (GQM) 패러다임을 적용하여 총 242 개의 세부 지표 (Metrics) 를 정의했습니다.
  • 각 지표는 0(부족), 0.5(부분 충족), 1(충족) 로 점수화되며, 중요도에 따라 가중치 (Weight) 를 부여하여 최종 점수를 산출합니다.
  • 최종 결과는 A~F 등급과 백분율 점수로 변환됩니다.
• 실증 분석:
  • 2026 년 1 월 12 일 기준, exhaustive search 를 통해 발견된 5 개의 공개 요약 (HuggingFace SmolLM3, Swiss AI Apertus, Speakleash Bielik, Microsoft Phi-4, Bria AI Bria 3.2) 에 프레임워크를 적용하여 평가했습니다.

3. 주요 기여 (Key Contributions)

1. 품질 평가 프레임워크 (RC1): AI Act 제 53 조 (1) (d) 요구사항을 충족하는 공개 요약의 품질을 투명성과 유용성 차원에서 평가할 수 있는 최초의 체계적인 방법론을 제시했습니다.
2. 실증적 평가 결과 (RC2): 5 개의 실제 공개 요약에 대한 평가를 통해 템플릿의 어떤 부분이 잘 채워졌는지, 어떤 부분에서 제공자들이 어려움을 겪는지 (예: 데이터 소스 구체성, 접근성 문제) 를 구체적으로 드러냈습니다.
3. 실행 가능한 권고안 및 리소스 (RC3):
   • 제공자를 위한 8 가지 개선 권고안 (템플릿 준수, SEO, 버전 관리 등).
   • AI 오피스를 위한 6 가지 템플릿 개선 제안 (구조화된 질문, 중앙 집중식 포털 등).
   • 평가 결과, 방법론, 권고안을 공유하는 공개 웹사이트 및 GitHub 리포지토리 구축.

4. 결과 (Results)

평가된 5 개 모델의 품질은 다음과 같이 나타났습니다:

• 고품질 사례 (A/B+ 등급):
  • Apertus (Swiss AI Initiative): 투명성 92.90% (A), 유용성 97.14% (A+). 템플릿을 철저히 따르고 모든 필드를 명확히 기재한 모범 사례.
  • Bria AI: 투명성 86.97% (B+), 유용성 94.74% (A). 라이선스 데이터만 사용했음을 명시하여 간결하게 작성됨.
  • SmolLM (HuggingFace): 투명성 82.50% (B+), 유용성 86.01% (B+). 공개 데이터 소스 공개는 우수했으나, 웹 페이지의 동적 구조로 인한 접근성 문제와 필드 배치 오류가 지적됨.
• 저품질/문제 사례 (C+/D/F 등급):
  • Bielik (Speakleash): 투명성 88.02% (B+), 유용성 71.11% (C+). 외부 문서 링크에 의존하여 필수 정보가 누락됨.
  • Phi-4 (Microsoft): 투명성 33.30% (D), 유용성 24.54% (F). 명시적인 '공개 요약'이 아님에도 유사한 형식의 문서를 제출했으나, 필수 섹션 누락, 모호한 답변, 템플릿 구조 불일치 등 심각한 결함이 발견됨.

주요 발견:

• 주요 글로벌 제공자 (Google, OpenAI, Meta 등) 는 아직 공개 요약을 게시하지 않음.
• 공개된 요약 중에서도 '악의적 회피'나 '부족한 정보'로 인해 권리 주체가 훈련 데이터를 추적하거나 권리를 행사하기 어려운 경우가 많음.
• 템플릿의 유연성 때문에 제공자들 간의 문서 형식과 정보 깊이가 극도로 불균일함.

5. 의의 및 시사점 (Significance)

• 규제 준수 지원: AI Act 의 투명성 의무가 형식적으로만 이행되지 않도록, 구체적인 품질 기준을 제시하여 제공자의 자발적 준수를 유도하고 규제 기관의 감시 능력을 강화합니다.
• 권리 주체 보호: 저작권자, 데이터 주체 등이 훈련 데이터의 출처를 명확히 파악하고 법적 조치를 취할 수 있는 실질적인 기반을 마련합니다.
• 정책 개선 기여: 평가 결과를 바탕으로 AI 오피스에 템플릿 개선 (구조화, 중앙 집중식 포털 등) 을 위한 데이터 기반의 권고안을 제공합니다.
• 지속 가능한 생태계: 평가 도구와 결과를 오픈 소스 (GitHub) 와 웹사이트를 통해 공개함으로써, 향후 더 많은 모델 평가와 커뮤니티 기반의 품질 향상 운동을 촉진합니다.

이 논문은 AI 법의 핵심 투명성 조항이 실질적인 효과를 거두기 위해서는 단순한 문서 제출이 아닌, 고품질의 정보 제공이 필수적임을 입증하고, 이를 평가하고 개선하기 위한 구체적인 기술적 도구를 제시했다는 점에서 의의가 큽니다.