DeepFix: Debugging and Fixing Machine Learning Workflow using Agentic AI

DeepFix: Agentic AI 를 활용한 머신러닝 워크플로우 디버깅 및 수정 자동화

1. 문제 정의 (Problem Statement)

최근 머신러닝 (ML) 기반 소프트웨어는 다양한 중요 응용 분야에 배포되고 있으나, 그 행동에 대한 체계적인 테스트는 여전히 큰 과제로 남아 있습니다.

• 기존 테스트의 한계: 기존 접근 방식은 주로 주어진 요구사항을 기반으로 테스트 케이스를 생성하는 데 의존합니다. 그러나 복잡한 모델 아키텍처, 거대한 입력 공간, 진화하는 배포 환경으로 인해 이러한 방식은 현대 ML 모델의 치명적인 버그를 발견하는 데 실패하는 경우가 많습니다.
• 수정 방안 부재: 기존 도구들은 특정 실패의 존재를 감지할 수는 있지만, 어떻게 그 오류를 수정할지에 대한 구체적인 메시지나 해결책을 제공하지 못합니다.
• 분절된 생태계: 데이터, 훈련, 아키텍처, API 등 ML 구성 요소별 테스트 접근법이 분절되어 있어, 개발자들은 파편화된 프레임워크에서 단서를 수동으로 조합해야 하므로 인지 부하가 증가하고, 시행착오 (trial-and-error) 방식의 디버깅에 의존하게 됩니다.
• Deepchecks 의 한계: 기존 도구인 Deepchecks 는 워크플로우를 테스트할 수 있지만, 생성된 버그 리포트는 데이터 과학 전문 용어로 가득 차 있어 비전문가에게 해석이 어렵고, 수정 방안이 포함되어 있지 않습니다.

2. 방법론 (Methodology)

이 논문은 ML 워크플로우의 전체 구성 요소를 테스트하고, 발견된 버그에 대한 수정 방안을 포함한 상세한 리포트를 생성하는 오픈소스 도구 DeepFix를 제안합니다. DeepFix 는 에이전트 기반 AI(Agentic AI) 프레임워크를 활용하여 다음과 같은 2 단계 클라이언트 - 서버 아키텍처로 작동합니다.

A. 1 단계: ML 워크플로우 테스트 (클라이언트 측)

• 도구: Deepchecks SDK 를 활용합니다.
• 작업: 학습 데이터와 학습 알고리즘 (모델) 에 대해 사전 정의된 속성 (기능적 속성) 을 기준으로 테스트를 수행합니다.
• 체크 항목:
  • 데이터 통계: 샘플 수, 클래스 분포, 특징 유형 등 메타데이터 추출.
  • 데이터 무결성 (27 가지): 결측치, 문자열 불일치, 이상치, 레이블 충돌 등 구조적 문제 탐지.
  • 학습/테스트 검증 (22 가지): 데이터 누수 (leakage), 분할 품질, 분포 변화 (drift) 감지.
  • 모델 성능 (31 가지): 추론 성능, 편향, 과적합, 보정 오류 등 평가.
  • 체크포인트 메타데이터: 아키텍처 요약, 파라미터 수 등 추출.
• 출력: 원시 데이터를 서버로 보내지 않고, 불필요한 세부 사항을 필터링하여 구조화된 '아티팩트 데이터 (Artifact Data)'를 생성하여 서버로 전송합니다.

B. 2 단계: 멀티 에이전트 분석 (서버 측)

• 구조: 상태 비저장 (stateless) 분석 서버가 3 개의 전문화된 LLM 기반 에이전트와 1 개의 추론 에이전트를 병렬 및 순차적으로 실행합니다.
• 전문 에이전트:
  1. Dataset Analyzer: 클래스 불균형, 결측 레이블 등 데이터 품질 문제 분석.
  2. Deepchecks Analyzer: Deepchecks 리포트를 해석하여 무결성 위반 및 분포 이동 (distribution shift) 강조.
  3. Model Checkpoint Analyzer: 체크포인트 무결성, 설정 일관성, 배포 준비 상태 검증.
• 크로스 아티팩트 추론 (Cross-Artifact Reasoning): 병렬 분석 결과를 통합하는 에이전트가 다음 3 단계를 수행합니다.
  1. 결합 (Aggregation): 각 에이전트의 발견 사항을 상관관계 분석하여 통합 (예: 높은 오분류율과 심각한 클래스 불균형의 연관성).
  2. 가설 생성 및 근거화 (Hypothesis Generation & Grounding): deepfix-kb 지식 베이스 (Perplexity AI 의 Sonar 를 통해 수집된 모범 사례) 를 참조하여 근본 원인 (Root Cause) 을 가설화하고 검증합니다.
  3. 순위 매기기 및 불확실성 추정: 발견된 실패를 심각도 (Severity) 와 신뢰도에 따라 순위 매기고, 자연어 형태의 실행 가능한 권장 사항을 생성합니다.

3. 주요 기여 (Key Contributions)

• 자동화된 디버깅 및 수정 제안: ML 워크플로우의 버그를 감지할 뿐만 아니라, 비전문가도 이해할 수 있는 설명과 구체적인 수정 방법을 제공합니다.
• 에이전트 기반 통합 분석: 파편화된 테스트 결과를 하나의 통합된 진단 리포트로 변환하여 개발자의 인지 부하를 줄입니다.
• 다양한 ML 모달리티 지원: 표형 (Tabular), 비전 (Vision), NLP 등 다양한 ML 작업 유형을 지원합니다.
• 확장성 및 통합 용이성:
  • 새로운 분석 에이전트, 속성 스키마, 커스텀 LLM 제공자, 지식 베이스 확장을 지원합니다.
  • 기존 MLOps 워크플로우 (MLflow, wandb 등) 에 쉽게 통합되어 지속적인 테스트를 가능하게 합니다.
  • 프라이버시 보호를 위해 온프레미스 (On-premise) 실행 및 자체 호스팅 LLM 연결을 지원합니다.

4. 검증 결과 (Results)

• 산업 프로젝트 검증: Delcaux Labs 의 컨설팅 프로젝트 (이미지 기반 식품 폐기물 정량화) 에서 DeepFix 를 성공적으로 적용했습니다.
  • 발견: 훈련 - 테스트 분할 오류를 정확히 식별했습니다. (레이블 드리프트 확인, Cramer's V 점수 0.92, 테스트 세트의 75% 레이블이 훈련 세트에 존재하지 않음).
  • 효과: 수백 장의 이미지를 수동으로 검토하여 발견하는 데 드는 막대한 노력을 단축했습니다.
  • 추가 발견: 이미지 수집 프로토콜의 비표준화 (밝기, 대비, 색상 특성 차이) 를 감지하여 모델이 일반화되지 않은 데이터 아티팩트를 학습할 위험을 경고했습니다.
• 계획된 검증: 대규모 실증 연구, 지식 베이스의 영향력 분석 (Ablation study), 규칙 기반 휴리스틱 대비 LLM 추론 성능 비교, 사용자 영향도 연구 (30 명 대상) 등을 계획 중입니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 기존 MLOps 플랫폼이 제공하는 단순한 지표 표시를 넘어, **"왜 모델이 성능이 낮은가"**와 **"어떻게 고칠 것인가"**에 대한 실행 가능한 통찰을 제공합니다.
  • ML 테스트 연구의 분절성을 해결하고, 개발자가 수동으로 단서를 조합하는 방식을 자동화하여 ML 시스템의 신뢰성을 높입니다.
• 한계:
  • 지연 시간 및 비용: 다중 에이전트 파이프라인은 기존 휴리스틱 기반 린터 (Linter) 보다 계산 비용과 지연 시간이 높습니다. (캐싱 등을 통해 완화 예정)
  • 데이터 프라이버시: 아티팩트 데이터를 외부 LLM 제공자에게 전송해야 하므로, 민감한 기업 데이터의 경우 온프레미스 실행이 필수적입니다.
  • 할루시네이션: LLM 의 환각 (Hallucination) 및 프롬프트 민감성 위험이 존재하며, 인간 검증 (Human-in-the-loop) 이 여전히 필요합니다.
  • 지식 베이스 의존성: 진단의 정확성은 지식 베이스의 품질과 최신성에 의존합니다.

결론적으로, DeepFix 는 복잡한 ML 시스템의 디버깅 장벽을 낮추고, AI 에이전트를 활용하여 버그 감지부터 수정 제안까지의 전 과정을 자동화하는 혁신적인 도구입니다.