Transparency as Architecture: Structural Compliance Gaps in EU AI Act Article 50 II

이 논문은 EU AI 법 제 50 조 2 항이 요구하는 인간 및 기계 가독성 투명성 규정이 현재 생성형 AI 의 구조적 한계와 충돌하여, 단순한 사후 라벨링이 아닌 법적 의미, AI 공학, 인간 중심 디자인을 아우르는 아키텍처적 설계 접근이 필요함을 주장합니다.

핵심

이 논문은 유럽연합 (EU) 의 새로운 '인공지능법 (AI Act)' 중 제 50 조 2 항이 가진 치명적인 모순을 지적하고 있습니다.

간단히 말해, **"AI 가 만든 콘텐츠는 반드시 'AI 가 만들었다'는 표시를 하라"**는 법이 있지만, 현재의 기술로는 그 표시를 하는 것 자체가 시스템을 망가뜨리거나, 표시를 지워버리게 만든다는 것입니다.

이 복잡한 내용을 세 가지 쉬운 비유로 설명해 드리겠습니다.

---

1. 핵심 문제: "투명성"이라는 건축 설계의 부재

이 논문은 투명성을 단순히 **"제품에 스티커를 붙이는 일 (포스트 - 호크 라벨링)"**이 아니라, **"건물을 처음부터 설계할 때 고려해야 할 구조적 요소 (아키텍처)"**로 봐야 한다고 주장합니다.

지금 법은 "AI 가 만든 글이나 그림에는 'AI 가 만들었습니다'라는 스티커를 붙여라"라고 말합니다. 하지만 현재 AI 시스템은 그 스티커를 붙이는 순간, 그 기능을 상실하거나 시스템이 붕괴되는 구조로 되어 있습니다.

2. 구체적인 사례 1: "가짜 데이터"를 만드는 공장 (합성 데이터)

비유: "요리 재료에 붙은 라벨"

• 상황: AI 를 더 똑똑하게 가르치기 위해, 컴퓨터가 만들어낸 '가짜 데이터 (합성 데이터)'를 실제 데이터처럼 섞어서 학습시킵니다.
• 법적 요구: 이 가짜 데이터에는 "나는 AI 가 만들었어"라는 **물리적 라벨 (워터마크)**이 영구적으로 붙어 있어야 합니다.
• 모순 (패러독스):
  • 이 라벨을 붙인 채로 AI 에게 가르치면, AI 는 "실제 내용"보다 "라벨 자체"를 더 중요하게 배우게 됩니다. 마치 요리사가 "이 재료는 인공적으로 만들었습니다"라는 스티커를 보고, 실제 맛보다 스티커를 더 중요하게 여겨 요리를 망치는 것과 같습니다.
  • 라벨을 떼고 가르치면 법을 위반하고, 붙여두고 가르치면 AI 가 망가집니다.
  • 해결책 없음: 법은 "두 가지 버전 (라벨 있는 버전과 없는 버전) 을 만들어라"라고 하지만, 이는 현실적으로 매우 비싸고 복잡하며, 데이터가 여러 곳에서 오갈 때 라벨이 사라지거나 섞이는 문제가 발생합니다.

3. 구체적인 사례 2: "뉴스 팩트체크"를 하는 기자와 AI

비유: "공동으로 쓴 원고와 지우개"

• 상황: AI 가 뉴스의 진실 여부를 조사하고 글을 씁니다. 하지만 최종적으로는 실제 기자가 내용을 다듬고 수정해서 발표합니다.
• 법적 요구: AI 가 쓴 부분에는 "AI 가 만들었습니다"라는 **디지털 흔적 (머신 리더블 마크)**이 남아 있어야 합니다.
• 모순 (파괴):
  • 기자가 AI 가 쓴 글을 다듬을 때 (문장 고치기, 요약하기 등), 그 디지털 흔적은 자동으로 지워집니다.
  • 마치 공동으로 쓴 원고에서 한 사람이 수정을 가하면, 다른 사람의 필적이 사라지는 것과 같습니다.
  • 법은 "AI 가 쓴 부분만 표시하라"고 하지만, 인간과 AI 가 섞여 작업하는 과정에서는 "어디까지가 AI 고, 어디까지가 인간인지"를 구분할 수 있는 기술적 방법이 없습니다.
  • 또한, AI 가 "이 뉴스는 90% 진실입니다"라고 판단할 때, 그 **신뢰도 (확률)**를 법이 요구하는 "완벽한 신뢰"로 해석하는 것은 무리입니다. AI 는 확률적으로 작동하는데, 법은 기계처럼 100% 확실한 것을 요구하기 때문입니다.

4. 결론: 우리가 무엇을 해야 하는가?

이 논문은 현재 기술로는 법을 지키는 것이 불가능에 가깝다고 말합니다.

• 현재의 상황: 법은 "스티커를 붙여라"라고 하지만, 기술은 "스티커를 붙이면 시스템이 고장 나거나 스티커가 사라진다"고 말합니다.
• 필요한 변화:
  1. 표준화: 서로 다른 AI 시스템 간에 라벨을 주고받을 수 있는 공통 언어가 필요합니다.
  2. 유연한 기준: "AI 가 만든 것"을 어떻게 정의할지, 그리고 사용자 (일반인 vs 전문가) 에 따라 설명 방식을 다르게 해야 합니다. (예: 기자에게는 기술적 데이터, 일반인에게는 쉬운 문장으로)
  3. 설계 단계의 통합: AI 를 개발할 때부터 "법적 표시"를 고려하여 건물을 처음부터 설계해야 합니다. 나중에 스티커를 붙이려고 하면 건물이 무너집니다.

한 줄 요약:

"AI 법은 'AI 가 만든 것임을 표시하라'고 하지만, 현재 기술로는 그 표시를 하려고 하면 AI 가 망가지거나 표시가 사라집니다. 우리는 스티커를 붙이는 것이 아니라, AI 시스템 자체를 '표시가 가능한 구조'로 다시 설계해야 합니다."

이 법이 2026 년 8 월에 시행되기 전까지, 법학자, 엔지니어, 디자이너가 함께 손잡고 이 구조적 모순을 해결해야 한다는 것이 이 논문의 핵심 메시지입니다.

기술 요약

논문 개요

본 논문은 2026 년 8 월 발효 예정인 EU 인공지능법 (EU AI Act) 제 50 조 2 항이 요구하는 '이중 투명성 (Dual Transparency)' 의무가 현재의 생성형 AI 시스템 구조와 근본적으로 충돌하고 있음을 지적합니다. 저자들은 단순한 사후 (Post-hoc) 라벨링으로는 규정을 준수할 수 없으며, 투명성을 시스템 아키텍처 설계의 핵심 요구사항으로 재정의해야 한다고 주장합니다.

1. 문제 제기 (Problem)

• 규제 요구사항: EU AI 법 제 50 조 2 항은 생성형 AI 제공자에게 AI 생성 콘텐츠에 대해 인간이 이해할 수 있는 형태와 자동화된 검증을 위한 기계 판독 가능 (Machine-readable) 형태의 라벨링을 동시에 의무화합니다.
• 기술적 모순: 현재 생성형 AI 의 확률적 (Probabilistic) 특성과 비결정적 (Non-deterministic) 출력은 규제가 요구하는 '신뢰성 (Reliability)'과 '강건성 (Robustness)'과 상충됩니다.
• 구체적 충돌:
  • 프로베넌스 (Provenance) 단절: 인간과 AI 가 교차하여 작업하는 편집 워크플로우에서는 AI 생성물의 출처를 명확히 분리할 수 없습니다.
  • 표시 (Marking) 의 파손: 일반적인 데이터 처리 (압축, 편집, 포맷 변환) 과정에서 워터마크나 메타데이터가 쉽게 손실되거나 변조됩니다.
  • 학습 데이터의 오염: AI 학습용 합성 데이터에 영구적인 워터마크를 남길 경우, AI 가 실제 콘텐츠가 아닌 워터마크 패턴을 학습하여 모델 성능을 저해할 수 있습니다.

2. 연구 방법론 (Methodology)

저자들은 규제의 기술적 실행 가능성을 진단하기 위해 두 가지 고위험 (High-stakes) 사용 사례를 분석 대상으로 선정했습니다.

1. 합성 데이터 생성 시스템 (Synthetic Data Generation):
   • AI 모델 훈련을 위한 데이터 확보를 위해 생성된 합성 데이터의 라벨링 문제를 분석.
   • 데이터 파이프라인 (수집, 정제, 생성, 배포, 학습) 전반에 걸쳐 제 50 조 2 항의 적용 범위와 기술적 제약을 평가.
2. 자동화된 팩트체크 시스템 (Automated Fact-Checking):
   • LLM 과 RAG(검색 증강 생성) 를 활용한 사실 확인 파이프라인 분석.
   • 다중 소스 증거 기반의 진위 판단 및 인간 편집자가 개입하는 워크플로우에서 AI 생성 콘텐츠의 투명성 유지 가능성 탐구.
   • '보조 기능 (Assistive-function)' 면제 조항이 팩트체크 시스템에 적용되는지 법적/기술적 관점에서 검토.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 사용 사례별 분석 결과

• 합성 데이터 생성:
  • 역설 (Paradox): 인간이 식별할 수 있는 영구적 워터마크는 AI 학습 시 '가짜 특징 (Spurious features)'으로 학습되어 모델 성능을 떨어뜨립니다. 반면, 기계 판독용 마크는 일반적인 데이터 처리 과정에서 쉽게 파괴됩니다.
  • 해결 시도: 학습용 데이터와 배포용 데이터를 분리하는 '이중 버전 API'가 제안되었으나, 이는 운영 복잡성과 비용을 급증시킵니다.
• 팩트체크 시스템:
  • 면제 조항의 부재: 팩트체크 시스템은 단순 편집 보조가 아닌 '진실성 (Truth value)'을 부여하는 능동적 역할을 하므로, '보조 기능' 면제 대상이 아닙니다.
  • 프로베넌스 단절: RAG 기반의 다중 소스 증거와 인간 편집자의 수정 과정이 겹치면서, 기계가 판독 가능한 출처 추적 체인이 파괴됩니다.
  • 표준 부재: Dublin Core 나 Schema.org 와 같은 기존 메타데이터 스키마는 신뢰도 가중치가 적용된 복잡한 RAG 기반 출처 추적을 표현할 수 없습니다.

B. 식별된 세 가지 구조적 격차 (Three Structural Gaps)

논문의 핵심 기여는 다음과 같은 세 가지 구조적 격차를 규명한 것입니다.

1. 교차 플랫폼 표시 형식의 부재: 인간과 AI 가 교차하여 생성된 출력물에 대해 상호 운용 가능한 (Interoperable) 표준 형식이 존재하지 않음.
2. 규제 '신뢰성'과 확률적 모델 행동의 불일치: 법규가 요구하는 '신뢰성'은 결정론적 정확성을 전제하지만, LLM 은 확률적 출력을 생성하므로 동일한 입력에 대해 일관된 결과를 보장할 수 없음.
3. 이질적인 사용자 전문성에 대한 적응 부재: 기술적 이해도 (기술자 vs 일반인/기자) 에 따라 투명성 설명의 깊이와 형식을 다르게 해야 함에도 불구하고, 규정은 '일률적 (One-size-fits-all)' 접근만 요구함.

4. 시사점 및 결론 (Significance & Conclusion)

• 아키텍처적 접근의 필요성: 투명성은 시스템이 완성된 후 메타데이터를 덧붙이는 사후 조치 (Post-hoc labeling) 가 아니라, 시스템 설계 단계부터 통합된 아키텍처 요구사항으로 다뤄져야 합니다.
• 학제간 연구의 필요성: 법적 의미론 (Legal Semantics), AI 공학 (AI Engineering), 인간 중심 설계 (Human-centered Design) 간의 긴밀한 협력이 필수적입니다.
• 향후 연구 방향 (Research Agenda):
  1. 상호 운용 가능한 출처 표준 개발: C2PA 등의 프레임워크를 인간-AI 교차 출력물에 적용 가능한 형태로 확장.
  2. 운영 가능성 기준 수립: 데이터 유형, 배포 맥락, 수신자에 따라 차별화된 '강건성'과 '신뢰성'의 측정 기준 마련.
  3. 사용자 그룹별 투명성 설계: 기술적 배경과 업무 환경 (예: 시간 압박을 받는 편집실) 에 맞춘 적응형 설명 (Adaptive Explanation) 프레임워크 개발.

결론적으로, 본 논문은 2026 년 EU AI 법 발효 전까지 현재 기술 수준과 규제 요구사항 사이의 간극을 메우기 위해, 단순한 기술적 수정을 넘어 근본적인 시스템 아키텍처의 재설계와 다학제적 연구가 시급함을 강조합니다.