AI to Learn 2.0: A Deliverable-Oriented Governance Framework and Maturity Rubric for Opaque AI in Learning-Intensive Domains

1. 문제 정의 (Problem Statement)

• 배경: 생성형 AI(GenAI) 가 연구, 교육, 전문직 업무에 빠르게 도입되고 있으나, 기존 거버넌스 프레임워크는 AI 보조 산출물이 학습 집약적 환경에서 어떻게 평가되어야 하는지 명확히 제시하지 못하고 있습니다.
• 핵심 문제 (Proxy Failure): AI 가 생성한 polished(다듬어진) 산출물은 유용할 수 있으나, 더 이상 인간의 이해도, 판단력, 전이 능력 (transfer ability) 을 증명하는 신뢰할 수 있는 대리 지표 (proxy) 가 되지 못합니다. 즉, 산출물의 품질이 높아졌더라도 이를 만든 인간의 학습 성취를 보장하지 못한다는 '대리 실패' 문제가 발생합니다.
• 기존 접근법의 한계: 기존 프레임워크 (NIST AI RMF, UNESCO 가이드라인 등) 는 조직 차원의 거버넌스, 모델 설명 가능성 (XAI), 또는 교육 과정 재설계에 초점을 맞추고 있습니다. 하지만 불투명한 AI 사용 후 최종 산출물 (deliverable) 에 무엇이 남아야 하는지에 대한 구체적인 기준과 검증 도구가 부족합니다.

2. 방법론 (Methodology)

이 논문은 AI to Learn 2.0이라는 새로운 거버넌스 프레임워크를 제안하며, 이는 원칙 중심에서 **산출물 중심 (deliverable-oriented)**으로 패러다임을 전환합니다.

A. 핵심 개념: 이중 잔여 조건 (Dual Residual Requirement)

AI 사용 후 다음 두 가지 조건이 충족되어야 합니다.

1. 산출물 잔여 (Artifact Residual): 최종 산출물 패키지는 원래의 불투명한 AI 모델이나 클라우드 API 없이도 **사용 가능 (usable), 감사 가능 (auditable), 전이 가능 (transferable), 정당화 가능 (justifiable)**해야 합니다.
2. 역량 잔여 (Capability Residual): 학습 집약적 환경에서는 인간 사용자가 산출물의 핵심 주장이나 작업을 설명하거나, 유사 과제로 전이할 수 있는 **인간 귀속 증거 (human-attributable evidence)**를 보유해야 합니다.

B. 산출물 패키지 (The Deliverable Package)

AI 보조 워크플로우의 최종 산출물은 단일 파일이 아닌 다음 5 가지 요소로 구성된 패키지로 정의됩니다.

1. A (Distilled Artifact): 불투명한 AI 없이도 일상적으로 사용 가능한 정제된 산출물 (코드, 방정식, 체크리스트 등).
2. P (Provenance & Audit Record): 사용된 AI 도구, 데이터 노출 범위, 인간이 수용/수정/거부한 사항, 검증 절차 등의 감사 기록.
3. V (Validity-Domain Statement): 산출물이 적용되는 범위, 가정, 적용 불가 영역 및 한계 명시.
4. F (Failure/Escalation Rule): 실패 모드, 경고 신호, 중단 기준, 인간 검토로 에스컬레이션하는 규칙.
5. R (Operational Resource Note): 런타임 의존성 (로컬 실행 vs 클라우드 API), 비용, 에너지 소모 등 운영 리소스 정보.

C. 성숙도 평가 척도 (Maturity Rubric)

워크플로우의 성숙도를 7 가지 차원에서 0~4 점으로 평가하는 척도를 제안합니다.

• 7 가지 차원:
  1. 최종 산출물의 잔여 불투명성 (Residual opacity)
  2. 인간 주권 및 승인 권한 (Human sovereignty)
  3. 감사 가능성 및 안정화 추적 (Auditability)
  4. 유효성 영역 및 실패 인식 (Validity-domain & failure awareness)
  5. 정보 보호 (Information protection)
  6. 에너지 및 리소스 비례성 (Energy and resource proportionality)
  7. 제 3 자 사용성 및 인수 준비도 (Third-party usability)
• 게이트 조건 (Gate Thresholds): 전체 점수뿐만 아니라 **잔여 불투명성 (m1), 인간 주권 (m2), 유효성/실패 인식 (m4), 정보 보호 (m5)**의 4 가지 핵심 차원에서 최소 임계값 (3 점 이상) 을 충족해야만 'AI to Learn 2.0 준수'로 간주됩니다.
• 역량 증거 사다리 (Capability-evidence Ladder): 학습 환경에서는 추가적으로 인간이 작업을 설명하거나 전이할 수 있는 증거 (구두 방어, 비 AI 체크포인트 등) 의 수준을 0~3 단계로 평가합니다.

3. 주요 기여 (Key Contributions)

1. 개념적 재구성: 불투명한 AI 사용 후 '남아 있어야 할 것 (Residual)'을 산출물 (Artifact) 과 인간 역량 (Capability) 으로 명확히 구분하고, 이를 산출물 패키지 및 성숙도 척도와 연결한 최초의 통합 프레임워크를 제시합니다.
2. 실천적 도구 개발: 원칙을 넘어 제 3 자가 워크플로우의 적합성을 구조적으로 검토할 수 있는 5 요소 산출물 패키지와 7 차원 성숙도 척도를 구체화했습니다.
3. 구체적 사례 분석 (Worked Cases): 7 가지 사례 (C1~C7) 를 통해 프레임워크를 적용하여 다음과 같은 통찰을 도출했습니다.
   • C1 (AI 작성 보고서 제출): 산출물과 역량 증거 모두 부재로 실패.
   • C2 (AI 보고서 + 구두 변론): 역량 증거는 개선되었으나, 산출물 패키지의 감사성 및 유효성 범위가 부족하여 실패.
   • C3 vs C4 (기호 회귀): 해석 가능한 방정식 (C3) 만으로는 부족하며, 유효성 범위와 실패 규칙 (C4) 이 명시되어야만 준수됨을 입증.
   • C5~C7 (교육 인프라): 교사가 감사한 국가 시험 연습 문제나 로컬 LLM 기반 퀴즈 생성 파이프라인은 '교사 측 AI / 학습자 측 증거' 원칙을 따르며 준수됨.
4. 거버넌스 전략의 전환: AI 사용 자체를 금지하는 것이 아니라, 탐색 및 초안 작성 단계에서는 AI 를 허용하되, 최종 산출물과 학습 증거는 인간이 통제하고 검증 가능해야 함을 강조합니다.

4. 결과 및 시사점 (Results & Significance)

• 결과: 제안된 프레임워크는 다양한 사례에 적용되어, 단순히 AI 를 사용하지 않는 것보다 AI 를 적절히 '증류 (distill)'하여 인간이 통제 가능한 형태로 남기는 것이 학습과 책임 소재 측면에서 더 중요함을 보여주었습니다. 특히 '해석 가능성 (Interpretability)'만으로는 부족하며, '유효성 범위와 실패 규칙이 명시된 해석 가능성 (Bounded Interpretability)'이 필수적임을 입증했습니다.
• 의의:
  • 학습 보증 (Learning Assurance): AI 시대에 학습의 진정성을 보장하고, 가짜 숙달 (false mastery) 을 방지하는 구체적인 기준을 제공합니다.
  • 거버넌스 실용성: NIST 나 UNESCO 와 같은 광범위한 거버넌스 프레임워크와 상호 보완적으로 작동하며, 구체적인 업무 흐름 (워크플로우) 단위의 검증을 가능하게 합니다.
  • 책임성 확보: AI 가 생성한 산출물이 실제 업무나 평가에 사용될 때, 그 배경과 한계를 명확히 하고 인간이 최종 책임을 질 수 있는 구조를 마련합니다.

5. 결론

이 논문은 AI 가 학습과 전문성 개발에 미치는 영향을 관리하기 위해, **"AI 사용 후 무엇이 남는가?"**라는 질문에 답하는 AI to Learn 2.0 프레임워크를 제안합니다. 이는 불투명한 AI 를 완전히 배제하는 것이 아니라, 최종 산출물이 인간의 이해와 책임을 증명할 수 있도록 **산출물 잔여 (Artifact Residual)**와 **역량 잔여 (Capability Residual)**를 보장하는 체계적인 거버넌스 도구를 제공합니다. 향후 이 프레임워크는 교육, 연구, 전문직 분야에서 AI 보조 워크플로우의 신뢰성과 유효성을 검증하는 표준 도구로 활용될 수 있을 것입니다.