Machine Learning in the Wild: Early Evidence of Non-Compliant ML-Automation in Open-Source Software

논문 요약: 오픈소스 소프트웨어 내의 비준수 ML 자동화에 대한 초기 증거

1. 문제 정의 (Problem)

최근 기반 모델 (Foundation Models) 을 포함한 머신러닝 (ML) 모델의 접근성이 높아지면서, 데이터가 부족한 시나리오부터 안전이 중요한 (Safety-critical) 맥락까지 다양한 하위 애플리케이션에 활용되고 있습니다. 그러나 이러한 ML 모델의 사용은 다음과 같은 심각한 문제를 야기할 수 있습니다.

• 규제 위반: EU AI 법 (EU AI Act) 등 정부의 규제 원칙 및 법률을 위반할 가능성.
• 이용 약관 (ToU) 위반: 모델 제공자의 이용 약관을 무시하고 고위험 영역 (의료, 금융, 법률 등) 에서 자동화된 의사결정을 수행하는 경우.
• 안전성 부재: 완전 자동화된 시스템에서 ML 모델이 주요 의사결정자 역할을 할 때, 이를 완화할 수 있는 사후 처리 (Post-processing) 장치나 인간 개입 (Human-in-the-loop) 이 부재할 수 있음.

현재까지 고위험 ML 프로젝트에서 모델이 어떻게 활용되며, 관련 규정을 준수하는지에 대한 구체적인 실증 연구는 부족했습니다.

2. 연구 방법론 (Methodology)

이 연구는 GitHub 에 호스팅된 오픈소스 프로젝트 173 개를 대상으로 한 정성적 및 정량적 분석을 수행했습니다.

• 데이터 수집 및 선정:
  • EU AI 법의 '고위험 AI 시스템' 정의에 기반하여 16 가지 도메인 (의료, 자율주행, 금융, 사이버보안 등) 의 키워드를 선정.
  • GitHub Search API 를 통해 관련 토픽을 검색하고, 파이썬을 주 언어로 사용하는 프로젝트 12,523 개를 필터링.
  • huggingface/transformers 라이브러리의 의존성을 기준으로 ML 모델을 사용하는 프로젝트로 범위를 좁혀 최종 173 개 프로젝트를 선정.
• 분석 절차 (Research Questions):
  • RQ1 (의사결정 방식): ML 모델이 의사결정에 어떻게 활용되는지 (완전 자동화 vs 인간 개입 포함) 분석. 소스 코드 내 모델 인스턴스화 및 추론 (Inference) 지점을 추적하여 제어 흐름을 분석.
  • RQ2 (사후 처리): 모델 출력값을 실제 의사결정으로 전환하기 위해 적용된 사후 처리 (Post-processing) 기법 (예: 신뢰도 임계값, 규칙 기반 검증, 다중 에이전트 조정 등) 식별.
  • RQ3 (규제 준수성): 프로젝트의 사용 맥락이 모델의 이용 약관 (ToU) 및 EU AI 법과 일치하는지 검토. 특히 고위험 도메인에서의 자동화 허용 여부 및 인간 검증 요구사항을 확인.

3. 주요 결과 (Key Results)

• 의사결정 자동화 현황 (RQ1):

  • 분석된 173 개 프로젝트 중 45 개 (26%) 가 ML 모델을 활용한 자동화된 의사결정을 수행.
  • 자동화 수준: 36 개는 '완전 자동화 (Fully Automated)', 9 개는 '인간 개입 포함 (Partially Automated)' 방식 사용.
  • 주요 도메인: 의료 (16 개), 자율주행 (9 개) 에서 가장 빈번하게 발견됨.
  • 의사결정 유형: AI 추천 (20 개), 자동 제어 (7 개), 위협 탐지 (4 개) 등 9 가지 범주로 분류.

• 사후 처리 기법 (RQ2):

  • 45 개 프로젝트 중 40 개가 모델의 원시 출력 (Raw Output) 을 직접 사용하지 않고 추가적인 사후 처리를 수행.
  • 주요 기법:
    • 출력 구조화 (Output Structuring, 13 개): 정규 표현식 등을 통해 모델 출력의 포맷 오류 수정.
    • 출력 일관성 (Output Consistency, 11 개): 도메인별 제약 조건 (예: 자율주행의 물리적 가속도 제한, 의료의 약물 상호작용 금지) 적용.
    • 자동 정제 (Auto-Refiner, 9 개): 피드백 루프를 통해 모델을 재호출하거나 결과를 조정.
    • 다중 에이전트 조정 (Multi-Agent Coordination, 9 개): 여러 모델의 합의에 기반한 최종 결정.
    • 신뢰도 임계값 (Confidence Threshold, 7 개): 특정 확률 (예: 80% 이상) 을 넘어설 때만 결정 실행.

• 이용 약관 (ToU) 및 규제 위반 (RQ3):

  • 분석된 45 개 프로젝트 중 25 개 (약 56%) 가 모델의 이용 약관 (ToU) 을 위반하는 것으로 확인됨.
  • 주요 위반 사항:
    • 고위험 도메인에서의 자동화: GPT-4o, Gemini 등 상용 LLM 의 ToU 는 의료, 법률, 금융 등 전문 분야에서의 자동화된 의사결정을 명시적으로 금지하거나 인간 검증을 요구함.
    • 구체적 사례: GPT 모델 사용 프로젝트 14 개, Gemini 5 개, LLaMA 6 개 등에서 ToU 위반이 발견됨.
    • 특이점: 오픈 가중치 (Open-weight) 모델보다는 상용 LLM 에서 위반이 두드러졌으며, 이는 상용 모델의 ToU 가 명확히 정의되어 있기 때문으로 분석됨.

4. 주요 기여 (Key Contributions)

1. 실증적 증거 제시: 오픈소스 생태계 내 고위험 ML 프로젝트에서 자동화된 의사결정이 광범위하게 이루어지고 있으며, 상당수가 규제 및 이용 약관을 위반하고 있음을 최초로 실증적으로 입증.
2. 분석 프레임워크 제안: ML 모델의 의사결정 역할, 사후 처리 기법, 규제 준수성을 체계적으로 평가할 수 있는 분석 방법론을 제시.
3. 개발자 가이드라인 및 도구 개발의 기초 마련: 향후 개발자가 법적 준수를 고려한 ML 시스템을 설계할 수 있는 가이드라인과, 규제 위반을 자동으로 탐지하는 분석 도구 개발의 토대를 제공.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 ML 기술이 "야생 (In the Wild)"에서 어떻게 적용되고 있는지에 대한 초기 경고 신호를 보냅니다. 많은 오픈소스 프로젝트가 ML 모델의 원시 출력을 그대로 사용하여 고위험 의사결정을 내리고 있으며, 이는 EU AI 법과 같은 규제 체계 및 모델 제공자의 약관을 명백히 위반할 소지가 큽니다.

특히, 인간 검증 (Human-in-the-loop) 이 필수적인 고위험 영역에서 완전 자동화가 이루어지고 있다는 점과 상용 LLM 의 이용 약관을 무시하는 경향은 심각한 법적 및 안전상의 리스크를 내포합니다. 본 연구는 이러한 문제를 인식시키고, 향후 자동화된 규제 준수 검증 도구 및 개발 가이드라인을 마련하기 위한 중요한 발걸음이 될 것입니다.

참고: 본 연구는 2026 년 FSE Companion 컨퍼런스에서 발표 예정인 논문으로, 현재 아카이브 (arXiv) 에 공개된 초안 (Preprint) 기반의 내용입니다.