Automated Residual Plot Assessment With the R Package autovi and the Shiny Application autovi.web

기술 요약: autovi를 이용한 잔차 도표 자동 평가

문제 제기
잔차 도표(residual plots)의 시각적 평가는 선형 모델을 진단하는 표준적인 접근 방식이지만, 심각한 한계를 지니고 있습니다. 수동 평가는 확장성이 떨어지며, 분석가마다 일관되지 않은 결정을 내리는 결과를 초래할 수 있습니다. 관찰된 도표를 무효(null) 도표들 사이에 배치하는 "라인업 프로토콜(lineup protocol)"은 주관성을 줄여주지만, 상당한 인간의 노력을 요구하므로 대규모 적용에는 비실용적입니다. 기존 소프트웨어 패키지(예: lmtest, DHARMa, ggResidpanel)는 전통적인 검정과 그래픽 진단 도구를 제공하지만, 이러한 도표에 대한 주관적 해석에 의존하면 무작위 패턴을 모델 위반으로 과잉 해석하는 등의 문제가 발생할 수 있습니다. 따라서 시각적 추론의 엄밀함을 유지하면서도 수동 노동의 부담 없이 잔차 도표를 평가할 수 있는 자동화되고 확장 가능한 방법이 필요합니다.

방법론
본 논문은 컴퓨터 비전과 통계 검정을 사용하여 잔차 도표 평가를 자동화하는 프레임워크를 소개합니다. 이 방법론의 핵심 구성 요소는 다음과 같습니다.

1. 시각적 신호 강도 (Visual Signal Strength, VSS): 모델 위반을 나타낼 수 있는 진단 도표 내 시각적 패턴의 명확성을 정량화하기 위해 연속적인 지표를 정의합니다. 이론적으로 VSS는 적합된 모델의 잔차 분포와 참조 분포(올바른 모델 설정 하에서의 기대 분포) 사이의 거리를 추정합니다. 이 거리는 쿨백-라이블러(Kullback-Leibler, KL) 발산에 기반합니다. 실제 잔차 분포는 실제 상황에서 알 수 없으므로, VSS는 합성 데이터로 학습된 컴퓨터 비전 모델에 의해 근사됩니다.
2. 컴퓨터 비전 모델: 합성 회귀 모델의 대규모 데이터셋을 사용하여 합성 컨볼루션 신경망(CNN)을 학습시킵니다. 이 모델들은 비선형성(헤르미트 다항식 변환을 통한), 이분산성(예측 변수에 따라 오차 분산이 변함), 그리고 비정규성(이산, 균등, 로그 정규 분포)을 포함한 고전적 선형 회귀 가정의 특정 위반 사례들을 시뮬레이션합니다. 모델은 잔차 도표 이미지와 보조 변수(예: 관측치 수)를 입력으로 받아 예측된 VSS를 출력합니다.
3. 통계 검정 프로토콜:
   • 무효 잔차 (Null Residuals): 모델이 올바르게 지정되었다는 귀무가설(일반적으로 평균이 0이고 추정된 오차 분산을 갖는 정규 분포로부터 샘플링) 하에 생성됩니다.
   • 부트스트랩 잔차 (Bootstrapped Residuals): 샘플링 변동성으로 인한 VSS의 변화를 추정하기 위해 부트스트랩 샘플에 모델을 재적합하여 생성됩니다.
   • 가설 검정: 자동화된 평가는 관찰된 잔차 도표의 VSS와 같거나 그보다 큰 무효 도표의 비율을 계산합니다. 이 비율은 단측 가설 검정을 위한 $p$-값 역할을 합니다.
4. 소프트웨어 구현:
   • R 패키지 (autovi): bandicoot 객체 지향 프로그래밍 시스템을 기반으로 구축되었으며, reticulate 패키지를 통해 R과 Python을 통합합니다. 도표 생성을 위해 ggplot2를, 산점도 진단(scagnostics)을 위해 cassowaryr를, 이미지 처리를 위해 pillow를, 그리고 사전 학습된 CNN을 위해 TensorFlow를 사용합니다. 인프라는 모듈식으로 설계되어 사용자가 특정 단계(예: 데이터 추출, 잔차 시뮬레이션)를 재정의하여 일반화 선형 모델(GLM)과 같은 다른 모델 클래스로 확장할 수 있도록 합니다.
   • Shiny 애플리케이션 (autovi.web): 사용자가 로컬에 R이나 Python 의존성을 설치하지 않고도 평가를 수행할 수 있는 웹 인터페이스를 제공합니다. 이는 TensorFlow.js를 활용하여 브라우저에서 직접 컴퓨터 비전 모델을 실행함으로써 계산 부하를 클라이언트 측으로 전환합니다.

주요 기여

• 시각적 추론의 자동화: 본 논문은 수동 시각 비교를 컴퓨터 비전 기반의 통계 검정으로 대체하는, 잔차 도표에 대한 최초의 자동화된 라인업 프로토콜 구현을 제시합니다.
• 정량적 지표 (VSS): 시각적 패턴의 강도를 정량화하는 연속적이고 해석 가능한 지표인 VSS를 도입하여, 주관적인 시각적 평가와 객관적인 통계 검정 사이의 간극을 메웁니다.
• 모듈형 프레임워크: autovi 패키지는 단순 선형 회귀를 넘어 확장 가능한 모듈형 아키텍처로 설계되었습니다. 저자들은 포아송 회귀를 위한 커스텀 체커를 생성함으로써 이를 입증하였으며, 이는 사용자가 서로 다른 모델 클래스에 맞게 특정 모듈(예: 무효 잔차 시뮬레이션)을 재정의할 수 있음을 보여줍니다.
• 접근성: R 패키지와 브라우저 기반의 Shiny 애플리케이션을 모두 제공함으로써, 고급 진단 도구를 프로그래밍 경험이 없거나 복잡한 환경 설정이 어려운 사용자들도 사용할 수 있도록 진입 장벽을 낮추었습니다.

결과 및 예시
논문은 다음과 같은 몇 가지 예시를 통해 도구의 효능을 입증합니다:

• 위양성 (False Positives): 겉보기의 이분산성이 실제 모델 위반이 아닌 예측 변수의 왜도(skewness)에 의해 발생한 시뮬레이션 사례에서, 자동화 도구는 낮은 VSS(1.53)와 유의하지 않은 $p$-값(0.25)을 정확히 할당했습니다. 반면 인간은 이 패턴을 오해할 수 있었습니다.
• 비선형성 탐지: mtcars 데이터셋을 사용하여, 도구는 미세한 비선형 구조(VSS = 3.57, $p < 0.05$)를 탐지했으며, 이는 Ramsey RESET 테스트에 의해 확인되었습니다.
• 복잡한 패턴: 구조가 포함된 "초현실적(surreal)" 데이터셋에서, 도구는 표준 비선형성 테스트(RESET)가 놓친 강력한 위반 사항(VSS = 5.87, $p < 0.05$)을 식별했습니다. 다만, 다른 테스트(Breusch-Pagan, Shapiro-Wilk)는 관련 문제를 감지했습니다.
• GLM으로의 확장: 이차 항이 누락된 포아송 회귀 예시에서, 라인업에 U자형 패턴이 나타났습니다. 커스텀 체커는 이를 VSS 4.875와 $p$-값 0.0099로 성공적으로 식별하여 프레임워크의 적응성을 입증했습니다.

의의 및 주장
저자들은 autovi와 autovi.web이 일관되지 않은 인간의 해석에 의존해 온 통계 소프트웨어의 결정적인 공백을 해결한다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

• 효율성 및 일관성: 평가를 자동화함으로써 진단 과정의 효율성을 높이고 사용자 및 연구 간의 일관성을 증진합니다.
• 확장성: 라인업 프로토콜의 노동력 제약을 극적으로 극복하여, 대규모 애플리케이션에서도 시각적 추론을 가능하게 합니다.
• 접근성: 웹 인터페이스는 설치 및 의존성 문제를 제거하여, 프로그래밍 경험이 없는 사람들을 포함한 더 넓은 층의 사용자가 고급 진단 도구를 활용할 수 있게 합니다.
• 미래 연구를 위한 토대: 모듈형 프레임워크는 자동화된 평가를 다른 진단 도표 및 통계 모델로 확장할 수 있는 기초를 마련하며, 이는 시각적 디스플레이가 통계적 추론에 사용되는 방식을 혁신할 잠재력이 있습니다.

본 논문은 이러한 도구들이 연구자들이 수동 도표 평가의 복잡함과 씨름하기보다, 결과 해석과 모델 개선에 더 집중할 수 있게 해준다고 결론짓습니다.