Industry Practitioners Perspectives on AI Model Quality: Perceptions, Challenges, and Solutions

1. 연구 배경 및 문제 정의 (Problem)

• 배경: AI 기술이 금융, 이미지 처리 등 다양한 산업에 광범위하게 도입되면서 AI 모델의 품질 보장이 시스템의 신뢰성과 신뢰 구축에 필수적이 되었습니다.
• 문제점:
  • 기존 소프트웨어 공학의 품질 보장 원칙 (예: 결정론적 논리, 명확한 정답이 있는 테스트) 은 데이터 기반이고 블랙박스 성격을 가진 AI 모델에 직접 적용하기 어렵습니다.
  • 학술 연구는 주로 '정확성 (Correctness)'이나 '강건성 (Robustness)'과 같은 특정 속성에 집중하는 반면, 산업 현장에서는 비즈니스 목표, 실시간 제약, 규제 준수 등 다양한 품질 속성 간의 트레이드오프를 고려해야 합니다.
  • 기존 연구들은 개발 프로세스 (팀 협업 등) 에 초점을 맞추거나 학술적 관점의 도전을 다루어, 실제 산업 현장에서 어떤 품질 속성이 우선순위를 가지는지, 그리고 구체적인 해결책이 무엇인지에 대한 명확한 통찰이 부족했습니다.

2. 연구 방법론 (Methodology)

이 연구는 혼합 연구 방법 (Mixed-methods approach) 을 사용하여 산업 현장의 실제 경험을 심층적으로 분석했습니다.

• 참여자 선정:
  • 인터뷰: 2 년 이상의 산업 경험, 다양한 역할 (ML 엔지니어, 데이터 과학자 등), 다양한 국가 (싱가포르, 중국, 캐나다, 미국, 호주) 및 기업 규모 (스타트업부터 다국적 기업까지) 를 가진 15 명의 AI 전문가를 인터뷰했습니다.
  • 설문 조사: 인터뷰 결과를 검증하기 위해 50 명의 산업 전문가를 대상으로 설문 조사를 실시했습니다.
• 품질 속성 선정: 기존 문헌 (ISO/IEC 25059 등) 과 사전 인터뷰를 통해 9 가지 핵심 품질 속성을 정의했습니다:
  1. 정확성 (Correctness)
  2. 강건성 (Robustness)
  3. 효율성 (Efficiency)
  4. 공정성 (Fairness)
  5. 설명 가능성 (Explainability)
  6. 프라이버시 (Privacy)
  7. 확장성 (Scalability)
  8. 배포 가능성 (Deployability)
  9. 유지보수성 (Maintainability)
• 데이터 분석:
  • 인터뷰: 반구조화된 인터뷰 (45~70 분) 를 수행하고, 주제별 종합 (Thematic Synthesis) 기법을 사용하여 귀납적 및 연역적 코딩을 통해 인식, 도전 과제, 해결책을 도출했습니다.
  • 검증: 도출된 8 가지 주요 발견 사항 (4 가지 인식, 4 가지 도전 과제 및 해결책) 을 설문 조사를 통해 정량적으로 검증했습니다 (리커트 척도 사용).

3. 주요 발견 사항 및 결과 (Key Results)

A. 전문가들의 품질 속성에 대한 인식 (Perceptions)

1. 실시간 애플리케이션에서 효율성이 정확성을 제약: 학술 연구에서는 SOTA(최신) 정확도를 추구하지만, 산업 현장 (검색, 추천 등) 에서는 지연 시간 (Latency) 과 비용이 절대적 제약 조건입니다. 사용자가 1 초 이상 기다리면 이탈률이 30% 이상 증가하므로, 정확도는 효율성 범위 내에서만 최적화됩니다.
2. 마이크로서비스 아키텍처로 인한 배포 및 확장성 부담의 이전: 과거에는 배포와 확장이 주요 병목이었으나, 현재는 마이크로서비스와 컨테이너화 (Docker, Kubernetes) 및 클라우드 인프라가 이를 처리합니다. AI 개발자는 모델 자체의 품질에 집중하고, 인프라 팀이 확장성과 배포를 담당하는 구조로 변화했습니다.
3. 규제 준수 (Compliance) 가 품질 속성의 우선순위를 결정: 법적 요구사항이 특정 품질 속성을 강제합니다.
   • 안전 (Safety) → 강건성 (Robustness, 예: 유해 콘텐츠 생성 방지)
   • 감사 가능성 (Auditability) → 설명 가능성 (Explainability, 예: 금융 거래 거절 사유 설명)
   • 비차별 (Non-discrimination) → 공정성 (Fairness)
   • 데이터 주권 → 프라이버시 (Privacy)
4. 설명 가능성의 이중적 역할: 규제 준수뿐만 아니라, 개발자용 디버깅 도구 (오류 원인 분석) 와 사용자 신뢰 구축 도구 (추천 이유 설명) 로서 모두 중요성이 부각되고 있습니다.

B. 주요 도전 과제 및 해결책 (Challenges & Solutions)

1. 데이터 불균형 (Data Imbalance):
   • 도전: 희귀 사건 (사기 탐지 등) 의 경우 양의 데이터가 부족하여 모델 정확도와 강건성이 저하됩니다.
   • 해결: 액티브 러닝 (Active Learning) 을 통해 불확실성이 높은 샘플을 선별하여 인간이 레이블링하는 방식이 효과적입니다. 데이터 생성 (Synthesis) 에는 복잡한 생성형 AI 보다는 전통적인 리샘플링 (SMOTE) 및 증강 기법이 제어 가능성과 안정성 때문에 여전히 선호됩니다.
2. 데이터 드리프트 (Data Drift):
   • 도전: 실시간 드리프트 감지 모니터링은 복잡하고 비용이 많이 들며 정확도가 낮습니다.
   • 해결: 복잡한 드리프트 감지 대신 시간 기반 (정기적 재학습) 또는 데이터 양 기반 (새로운 레이블 데이터 축적 시) 의 실용적인 재학습 트리거를 사용합니다.
3. 운영 비용과 성능의 균형:
   • 도전: 고성능 모델은 높은 연산 비용과 지연 시간을 유발합니다.
   • 해결: 모델 압축 (Pruning, Quantization, Distillation) 기술과 결합하여 GPU 대신 CPU 기반 추론을 사용하는 전략이 비용 효율성을 높이는 핵심입니다. (특히 추천 시스템의 임베딩 테이블 메모리 비용 절감에 효과적)
4. 레이블링 비용 및 품질:
   • 도전: 수동 레이블링 비용이 높고 시간이 소요됩니다.
   • 해결: AI 지원 주석 (AI-assisted Annotation) 을 도입하여 모델이 먼저 예측하고 인간이 오류만 수정하는 방식이 비용 절감 (30~50%) 과 품질 향상 (인간의 편향 극복) 을 동시에 달성합니다.

C. 검증 결과 (Survey Validation)

• 50 명의 설문 응답자 중 7 가지 발견 사항이 "잘 인정됨 (Well-Acknowledged, 평균 점수 > 4.0)"으로 확인되었습니다.
• 1 가지 (AI 지원 주석) 는 "경미하게 동의함 (Marginally Agreeable, 3.98)"으로, 특수 분야에서는 여전히 인간 전문가의 역할이 중요하다는 의견이 반영되었습니다.

4. 연구의 의의 및 기여 (Significance & Contributions)

1. 산업 현장 중심의 품질 프레임워크: 학술적 이상과 산업적 현실 (비용, 지연 시간, 규제) 간의 괴리를 해소하고, 실제 산업 환경에서 우선순위가 어떻게 달라지는지 (예: 효율성 > 정확성, 인프라 처리 > 개발자 처리) 를 명확히 제시했습니다.
2. 구체적이고 검증된 해결책 제공: 단순한 문제 제기를 넘어, 산업 현장에서 실제로 작동하는 구체적인 해결책 (액티브 러닝, CPU 기반 추론, AI 지원 주석 등) 을 제시하여 연구자와 실무자 모두에게 실용적인 가이드를 제공합니다.
3. 규제와 품질 속성의 연결: 법적 규제가 어떻게 구체적인 기술적 품질 속성 (강건성, 설명 가능성 등) 으로 매핑되는지를 체계적으로 분석하여, 규제 준수 기술 개발의 방향성을 제시했습니다.
4. 향후 연구 방향 제시: 연구자들이 한 속성을 개선하는 과정에서 다른 더 중요한 속성 (예: 정확성 향상을 위해 효율성 저하) 을 희생하는 접근법을 피하고, 실무자가 실제로 가치를 두는 속성에 집중하도록 유도합니다.

5. 결론

이 연구는 AI 모델 품질 보장이 단순한 기술적 정확성 문제를 넘어, 비즈니스 제약, 인프라, 규제 준수, 비용 효율성 등이 복합적으로 작용하는 영역임을 강조합니다. 연구진은 산업 전문가들의 인식을 바탕으로 9 가지 품질 속성을 정의하고, 이를 해결하기 위한 실증적인 전략들을 도출하여 AI 공학 (AI Engineering) 의 성숙도를 높이는 데 기여했습니다.