A Distribution-Based Framework for Homogeneity Assessment of Engineering Data: Comparison with Conventional Statistical Inference

기술 요약: 공학 데이터를 위한 분포 기반 균질성 평가 프레임워크

문제 제점
본 논문은 전통적인 통계적 추론과 실험 과학 및 공학에서 생성되는 데이터의 본질 사이의 근본적인 불일치를 지적한다. 전통적인 방법들은 이론적 모집단으로부터의 "무작위 추출(random sampling)"을 전제로 하며, 유의성을 추론하기 위해 P-값을 활용한다. 그러나 공학 데이터(측정, 센싱, 생산 시스템에서 발생하는 데이터)는 무작위 표본이 아니라 "생산된" 결과물이다. 이러한 데이터는 물리적으로 경계가 정해져 있으며, 측정 정밀도로 인해 이산적이거나 반복적인 값을 포함할 수 있고, 미리 가정된 분포 모델을 따르지 않는 경우가 많다.

저자들은 이러한 대용량 공학 데이터에 무작위 추출 기반의 추론을 적용할 경우 "비수렴적 동작(non-convergent behavior)"이 발생한다고 주장한다. 구체적으로, 표본 크기($n$)가 증가함에 따라 t-검정과 같은 테스트의 P-값은 진동하거나 0을 향해 표류하는 경향이 있으며, 이로 인해 동일한 안정적인 프로세스에서 생성된 데이터셋이 통계적으로 "다르다"라고 잘못 판정되는 문제가 발생한다. 또한, 전통적인 지표(평균, 표준편차)는 이상치와 측정 정밀도에 매우 민감하여, 대규모 데이터셋에서 불안정한 결론을 초래한다.

방법론: 공학 데이터 분석 (EDA)
본 논문은 데이터를 모집단의 표본이 아닌 생산 시스템의 출력물로 취급하는 공학 데이터 분석(EDA)이라는 분석 프레임워크를 제안한다. 이 프레임워크는 "모집단", "추출", "P-값"의 개념을 배제한다. 대신, 두 가지 주요 기준을 바탕으로 실제 확률 밀도 형상을 복원하고 균질성을 평가하는 데 집중한다.

1. 구간 이동 밀도 추정 (Interval-Shift Density Estimation, ISDE):

   • 이는 특정 분포(예: 정규분포)를 가정하거나 커널 함수를 사용하지 않고 확률 밀도를 복원하는 핵심 방법이다.
   • ISDE는 적응형 히스토그램 역할을 수행한다. 원시 데이터를 정렬하고 고유한 값($n'$)을 식별한다.
   • 창 크기($k$)는 데이터의 국부적 밀도에 따라 자동으로 결정되며, 구체적으로는 $n'/4$를 넘지 않는 가장 큰 홀수로 설정된다 (Quarter-domain ISDE).
   • 창은 세부 사항을 보존하기 위해 밀도가 높은 영역에서는 확장되고, 가짜 변동을 피하기 위해 희소한 영역에서는 축소된다. 이 방법은 대역폭(bandwidth) 파라미터나 평활화 함수를 필요로 하지 않는 완전한 데이터 주도형 방식이다.

2. 균질성 판단 기준:

   • 중첩 확률 ($P_{overlap}$): 두 개의 복원된 밀도 곡선 사이의 교차 면적(사다리꼴 공식 사용)으로 계산된다. $P_{overlap} \geq 0.95$인 경우 높은 균질성을 나타낸다.
   • 중앙값 구별 가능성 (Median Distinguishability): 데이터셋 A의 중앙값에서의 밀도가 데이터셋 B의 밀도에 의해 가려지는지(masked) 여부를 확인한다. 만약 한쪽의 중앙값에서의 밀도가 다른 분포의 해당 지점에서의 밀도보다 낮거나 같다면, 두 분포는 구별할 수 없는 것으로 간주된다.

주요 결과
저자들은 Excel 2019에서 생성된 무작위 데이터를 사용하여 EDA 프레임워크를 검증하였으며, 세 가지 시나리오에 걸쳐 기존 t-검사와 비교하였다.

• 동일 파라미터 (균질 데이터):

  • 전통적 추론: 표본 크기가 증가함에 따라 누적 t-검정 P-값이 심하게 진동하며 빈번하게 0.05 미만으로 떨어졌고, 이는 동일한 프로세스에서 생성된 데이터셋 간에 유의미한 차이가 있다고 잘못 시사했다.
  • EDA: $P_{overlap}$은 $n$이 증가함에 따라 1.0을 향해 안정적으로 수렴했다. 중앙값 구별 가능성 기준은 표본 크기나 소수점 정밀도에 관계없이 데이터셋이 구별 불가능함을 일관되게 나타냈다.

• 이상치 민감도:

  • 전통적 추론: 소수의 이상치(예: 10,000개 중 19개의 이상치)를 도입했을 때 t-검정 P-값이 0.05 미만으로 떨어져, 거짓 "유의미한 차이" 신호를 보냈다.
  • EDA: 중앙값과 사분위 범위(IQR)가 안정적으로 유지되었다. $P_{overlap}$은 높게 유지되었고($>0.95$), 분포는 구별 불가능한 상태를 유지하여 미세한 데이터 오염에 대한 강건성을 입증했다.

• 다른 파라미터 (이질 데이터):

  • 전통적 추론: 표본 크기가 커짐에 따라 P-값이 0에 근접하며 차이가 있음을 나타냈으나, 차이의 정도에 대한 안정적인 척도를 제공하는 데는 실패했다.
  • EDA: $P_{overlap}$은 극단값으로 표류하는 대신, 실제 차이의 정도를 반영하는 안정적인 값(예: ~0.8)으로 수렴했다. 이 방법은 데이터셋을 성공적으로 구분하는 동시에 그 중첩 정도를 정량화할 수 있는 척도를 제공했다.

의의 및 주장
본 논문은 생산 시스템에서 발생하는 공학 데이터의 경우, 분포 기반의 균질성 평가가 기존의 통계적 추론보다 더 안정적이고 투명하며 신뢰할 수 있는 분석 경로를 제공한다고 주장한다.

• 수렴성: P-값은 균질한 데이터에 대해 수렴하지 않는 것과 달리, EDA 지표($P_{overlap}$ 및 구별 가능성)는 표본 크기가 증가함에 따라 안정적으로 수렴한다. EDA에서 표본 크기는 결과의 신뢰성에는 영향을 미치지만, 수렴의 방향을 바꾸지는 않는다.
• 충실도 및 직관성: 모델 가정을 강요하지 않고 데이터로부터 직접 분포를 복원함으로써, EDA는 요약 통계량이 가릴 수 있는 실제 구조적 특징(예: 다봉성, 경계 효과)을 드러낸다.
• 공학적 적용성: 이 프레임워크는 분석적 질문을 "차이가 통계적으로 유의미한가?"에서 "분포가 구별 가능한가?"로 전환한다. 이는 시스템 안정성 및 배치(batch) 일관성을 판단하려는 공학적 목표와 더 잘 부합한다.
• 데이터 무결성: 저자들은 이 프레임워크가 데이터 조작에 대한 방어 기제 역할을 할 수 있다고 제안한다. 국부적인 조작으로는 전체적인 복원된 분포 형상을 쉽게 변화시킬 수 없기 때문이다.

저자들은 통계적 추론이 무작위 추출 시나리오(예: 설문 조사)에는 여전히 유효하지만, 공학 데이터에는 종종 잘못 적용되고 있다고 결론짓는다. EDA는 이상치, 측정 정밀도 및 대규모 표본 크기에 강건한, 독자적인 "공학적 판별(engineering discrimination)" 도구 상자를 제공한다. 이 방법은 Excel 2019로 구현되었으며, 실무적인 공학 분석을 위한 예비적이지만 재현 가능한 프레임워크로 제시된다.