기술 요약: 반도체 소재 제조를 위한 예측 품질을 위한 견고하고 신뢰할 수 있는 AI

문제 제기

반도체 소재 제조는 진화하는 공정 조건, 장비 열화, 그리고 원자재 변동성으로 인해 머신러닝 (ML) 모델 배포에 고유한 도전에 직면해 있습니다. 이러한 요인들은 데이터 드리프트와 개념 드리프트를 초래하여 시간이 지남에 따라 모델 성능이 저하되게 합니다. 이 분야에서 기존 ML 접근법의 결정적 한계는 예측 불확실성을 정량화하지 못한다는 점이며, 이는 고위험 생산 환경에서 리스크 인식 의사결정에 필수적입니다. 또한, 머신러닝 운영 (MLOps) 이 모델 유지 관리를 위한 구조화된 접근 방식을 제공하지만, 계절적 변동, 유지 보수 주기, 공급망 변동과 같은 제조 데이터의 고유한 특성에 맞춘 재학습 전략에 대한 포괄적인 벤치마크는 부족합니다.

방법론

본 연구는 약 1,200 배치의 고량 생산 공정에서 제조된 배합 반도체 화학물질의 5 년간 실제 제조 데이터를 활용합니다. 데이터셋에는 원자재 (RM) 품질 관리 파라미터, 환경 요인, 그리고 최종 제품 (FG) 품질 목표가 포함됩니다.

핵심 구성 요소:

1. 예측 모델링: 특징 간 상호작용 처리의 견고성과 데이터 효율성이 필요한 생산 환경에 적합하다는 이유로 랜덤 포레스트 (RF) 회귀를 주 알고리즘으로 선정했습니다. 하이퍼파라미터는 랜덤 탐색을 통한 중첩 교차 검증을 사용하여 최적화되었습니다.
2. MLOps 벤치마킹: 본 연구는 세 가지 차원에 걸쳐 재학습 전략을 체계적으로 평가합니다:
   • 재학습 주기: 재학습 없음부터 5 배치, 100 배치, 또는 일일 배치 단위의 다양한 빈도.
   • 학습 데이터 윈도우: 고정 크기 슬라이딩 윈도우 (100 배치) 와 확장 학습 세트 간의 비교.
   • 하이퍼파라미터 최적화: 재학습 중 전체 모델 재최적화와 고정 하이퍼파라미터 구성의 평가.
3. 불확실성 정량화: 통계적 보장을 갖춘 예측 구간을 생성하기 위해 컨포멀 예측 (특히 MAPIE 라이브러리를 통한 CV+ 방법) 을 구현했습니다. 이 접근법은 특정 잔차 분포 (예: 가우시안성) 를 가정하지 않습니다.
4. 평가 지표:
   • 점 예측: 성능은 제어 한계 정규화 잔차 (절대 잔차를 제어 한계 범위, CLR 로 나눈 값) 를 사용하여 측정됩니다. 잔차 크기를 CLR 대비 기준으로 '양호', '보통', '불량'의 3 단계 분류 체계가 정의됩니다.
   • 불확실성: 지표에는 구간 내 실제 값의 비율인 '커버리지'와 CLR 대비 '구간 너비'가 포함됩니다.

주요 결과

1. 재학습 주기와 전략

• 빈도: 고빈도 재학습 (5 배치마다) 은 낮은 빈도나 재학습 없음보다 현저히 우수한 성과를 보입니다. 이는 갑작스러운 변화 시나리오에서 '불량' 예측 (잔차 > CLR/2) 을 약 2530% 감소시키고, 점진적 드리프트 시나리오에서는 1015% 감소시켜 기준선 대비 개선 효과를 보입니다.
• 윈도우 크기: 공급업체 변경과 같은 갑작스러운 분포 변화 시나리오에서 고정 크기 슬라이딩 윈도우 (100 배치) 는 고빈도 재학습 시 확장 윈도우와 유사한 성능을 보입니다. 그러나 점진적 드리프트의 경우 확장 윈도우가 더 안정적인 성능을 보이는 반면, 고정 윈도우는 변동성을 나타냈습니다. 본 연구는 갑작스러운 변화의 경우 구식 데이터로 인한 잠재적 열화와 계산 오버헤드를 피하기 위해 고정 윈도우를 선호한다고 결론지었습니다.
• 하이퍼파라미터 튜닝: 재학습 중 하이퍼파라미터 재튜닝은 '보통' 예측에는 미미한 개선을 제공했지만, '불량' 예측의 경우 1020 퍼센트 포인트 개선을 보였습니다. 그러나 학습 시간이 4060% 증가하고 잘 관리된 시스템에서 '불량' 사례가 드물다는 점을 고려할 때, 저자들은 하이퍼파라미터 재튜닝이 일상적인 업데이트에는 비효율적이라고 결론지었습니다.

2. 불확실성 정량화

• 제어 이탈 (OOC) 감지: 컨포멀 예측을 통합하면 제어 이탈 (OOC) 배치 감지가 획기적으로 개선되었습니다. 기존 점 예측은 예측 불가능한 OOC 사건에 대해 1.9% 의 민감도만 달성한 반면, 컨포멀 접근법은 80% 이상의 민감도 (>40 배 개선) 를 달성했습니다.
• 커버리지와 너비: 컨포멀 프레임워크는 다양한 학습 세트 크기에 걸쳐 이론적 90% 목표 이상의 커버리지율을 일관되게 유지했습니다. 그러나 조건부 커버리지 분석은 이질성을 드러냈습니다: 제어 한계 (UCL/LSL) 근처에서 커버리지는 목표 수준 아래로 떨어졌으며, 이는 해당 영역에서 더 높은 RMSE 와 상관관계가 있었습니다. 이는 모델이 평균적으로는 신뢰할 수 있지만, 경계 근처의 극단값을 예측하는 능력은 기본 회귀 모델의 정확성과 잠재적 미관측 변수에 의해 제한됨을 시사합니다.

주요 기여

• 실증적 벤치마킹: 본 논문은 반도체 소재 제조에 특화된 MLOps 재학습 전략 (주기, 윈도우 크기, 하이퍼파라미터 튜닝) 에 대한 체계적인 벤치마크를 제공하며, 하이퍼파라미터 재튜닝 없이 5 배치마다의 고정 주기가 정확성과 계산 효율성 간의 최적 균형을 제공함을 규명했습니다.
• 불확실성 통합: 제조 환경에서 컨포멀 예측의 실용적 구현을 보여주며, 예측 구간이 제어 한계를 초과하는 배치를 식별함으로써 반응형 품질 관리를 사전 예방적 프레임워크로 전환할 수 있음을 입증했습니다.
• 운영 지침: 본 연구는 동적 환경에서 모델 신뢰성을 유지하기 위한 실용적 지침을 제공하며, 드리프트가 미묘하거나 노이즈에 의해 가려지는 맥락에서는 반응형 드리프트 유발 재학습보다 빈번하고 계획된 재학습이 더 효과적임을 강조합니다.

중요성과 주장

저자들은 그들의 연구 결과가 계산 효율성과 신뢰할 수 있는 불확실성 정량화가 최우선인 견고한 MLOps 전략 구현을 위한 실용적 지침을 제공한다고 주장합니다. 본 연구는 다음과 같이 주장합니다:

• 데이터 드리프트에 직면하여 모델 품질의 급격한 열화를 방지하기 위해서는 정기적이고 고빈도의 재학습이 필수적입니다.
• 컨포멀 예측은 기존 회귀 모델에 통계적으로 엄격한 신뢰 구간을 추가하기 위한 다용도이자 신뢰할 수 있는 방법이며, 비용이 많이 드는 제어 이탈 사건의 예측 및 예방 능력을 크게 향상시킵니다.
• 제어 한계 근처에서 조건부 커버리지 제한이 존재함에도 불구하고, OOC 사건에 대한 민감도 전반적인 개선은 불확실성 정량화를 예측 품질 시스템의 필수 구성 요소로 만듭니다.

본 논문은 이러한 방법론적 개선이 실제 제조 시나리오에서 ML 기반 예측 품질 시스템의 회복탄력성을 보장하여 원자재 선택 및 블렌딩 비율에 관한 사전 예방적 의사결정을 가능하게 한다고 결론지었습니다.