A Functional Data Framework For Analyzing Shapes and Textures in Images

기술 요약: 이미지 내 형상 및 질감 분석을 위한 기능적 데이터 프레임워크

문제 정의
본 논문은 통계적 이미지 분석의 과제, 특히 픽셀 기반 표현의 한계를 다룬다. 의료 진단에서 농업에 이르기까지 이미지는 점점 더 많이 활용되고 있으나, 이미지를 복잡한 상관 구조를 가진 고차원 행렬로 취급하는 것은 고전적인 통계 방법론을 적용하기에 부적합하게 만든다. 또한, 효과적이기는 하지만 계산 비용이 높고 해석 가능성이 부족한 합성곱 신경망(CNN)과 같은 지배적인 접근 방식들이 존재한다. 저자들은 획득 기술이 더욱 정밀한 이미지를 생성함에 따라 픽셀 기반 모델의 계산 부담이 증가할 것이며, 이에 따라 물체의 윤곽선과 질감의 연속적인 특성을 존중하는 "절약형(frugal)" 통계 방법론의 개발이 필요하다고 주장한다.

방법론
제안된 프레임워크는 이미지를 이산적인 픽셀 그리드가 아닌, 연속적인 무작위 함수의 관측값으로 모델링하는 기능적 데이터 분석(FDA) 관점으로 전환한다. 방법론은 다음 단계로 진행된다:

1. 이미지 분할 및 윤곽선 추출:
   프로세스는 이미지 $I$ 내에서 단일 객체를 식별하여 실루엣 $I'$를 얻는 것으로 시작된다. 객체의 경계는 폐쇄된 평면 곡선 $C: [0, 1] \to \mathbb{R}^2$로 표현된다. Otsu 임계값 처리 및 marching squares 방법을 사용하여, 이산 실루엣을 기능적 윤곽선으로 변환한다.

2. 형상 분석 (변형 정렬):
   Moindjié 등(2025)의 연구를 따라, 윤곽선 $C$는 형상 성분 $\tilde{C}$ (Kendall의 의미에서)와 변형 변수들인 균등 스케일링($\rho$), 이동($c$), 회전($O$), 그리고 재매개변수화($\gamma$)로 분해된다. 저자들은 이러한 변수들을 추정하여 곡선을 정렬하고 중심을 맞춤으로써, 위치나 크기에 독립적인 형상 변수 $S$를 도출한다. 이를 통해 객체의 형태를 위치나 크기에 관계없이 통계적으로 분석할 수 있다.

3. 성형 도메인을 통한 질감 표현:
   핵러이션(core innovation)은 질감(내부 색상 변화)을 다루는 방식이다. 본 프레임워크는 객체의 내부 도메인 $D$가 중심점 $c$에 대해 **성형(star-shaped)**이라고 가정한다. 이 가설 하에, 저자들은 단위 원판 $\mathbb{D}$를 객체의 내부 $D$로 변환하는 매핑 $\phi$를 정의한다.

• 이 매핑을 통해, 원래 불규칙한 도메인 $D$ 위에 정의된 질감 함수 $T^*(u) = I(u)$를 단위 원판 $\mathbb{D}$(또는 생체 사상 $g$를 통한 정사각형 $[0,1]^2$) 상으로 재매개변수화할 수 있다.
• 결과적으로 생성된 질감 $T(v)$는 공통된 도메인 위에 정의된 무작위 곡면이 되며, 이를 통해 표준적인 기능적 데이터 기법을 적용할 수 있게 된다.

4. 결합 통계 모델링:
   프레임워크는 질감 $T \circ g$와 정렬된 형상 $\tilde{C}$를 결ло합한 결합 기능적 변수 $Z$를 구축한다. 지도 분류를 위해, 저자들은 응답 변수 $Y$를 $Z$에 회귀시키는 선형 모델을 채택한다.

• 형상 공간은 비선형 다양체(manifold)이므로, 형상 성분은 프레셰 평균(Fréchet mean) $\mu$에서의 접공간(tangent space)으로 투영된다.
• 기능적 공변량을 가진 회귀의 부적정(ill-posed) 문제를 해결하기 위해, 저자들은 회귀 계수를 추정하고자 다변량 기능적 주성분 분석(MFPCA) 및 **다변량 기능적 부분 최소 제곱법(MFPLS)**을 활용한다.

주요 기여

• 절약적 표현: 본 논문은 이미지를 픽셀 기반 행렬이 아닌 형상(윤곽선)과 질감(내부 색상)으로 명시적으로 분리하는 희소한(sparse) 표현 방식을 도입한다.
• 성형 매핑: 랜드마크 주석 없이도 내부 색상 변화를 통합할 수 있도록, 성형 도메인 가정 하에서의 질감 분석을 위한 이론적 및 실무적 매핑을 제공한다.
• 결합 기능적 프레임워크: 이전의 윤곽선 전용 분석(Moindjié et al., 2025)을 확장하여, 윤곽선과 질감을 모두 연속적인 기능적 변수로 취급하는 결합 분석을 제시한다.
• 해석 가능성: 기능적 데이터에 대한 선형 모델을 사용함으로써, 딥러닝의 블랙박스 모델에 대한 해석 가능한 대안을 제공한다.

결과
프레임워크는 Singh 등(2022)의 피스타치오 이미지 2,148장(두 품종: Kirmizi 및 Siirt)으로 구성된 실제 데이터셋을 통해 평가되었다. 연구에는 다음이 포함되었다:

• 데이터 증강: 변형에 대한 강건성을 테스트하기 위해 무작위 회전 및 줌(zooming)이 적용되었다.
• 비교: 제안된 방법("OUR")은 이미지를 무작위 곡면으로 취급하는(스칼라-온-이미지 회귀) 베이스라인 경쟁 모델("COMP")과 비교되었다.
• 성능: 10-겹 교차 검증을 사용했을 때, 제안된 프레임워크는 유의미하게 높은 정확도와 F1 점수를 달est했다.
  • OUR (MFPCA): 정확도 77%, F1 74%.
  • OUR (MFPLS): 정확도 76%, F1 73%.
  • COMP (MFPCA): 정확도 63%, F1 42%.
  • COMP (MFPLS): 정확도 57%, F1 54%.
    베이스라인 경쟁 모델은 무작위 확률 수준 근처에서 성능을 보인 반면, 제안된 프레임워크는 강력한 판별 능력을 입증하였다.

의의 및 주장
저자들은 본 연구가 이미지의 주요 요소(형상 및 질감)를 이산적인 픽셀이 아닌 연속적인 함수로 명시적으로 모델링함으로써 통계적 이미지 분석의 새로운 패러다임을 구축한다고 주장한다. 그 의의는 다음과 같다:

1. 효율성: CNN 및 고차원 픽셀 모델에 대한 계산적으로 더 가벼운("절약형") 대안을 제공한다.
2. 강건성: 변형 변수(회전, 스케일링)를 명시적으로 처리함으로써, 객체가 완벽하게 정렬되지 않은 경우에도 잘 작동한다.
3. 적용 가능성: 성형 가정은 이미지 분석의 많은 객체(예: 생물학적 세포, 잎, 장기)에서 충족되는 약한 조건으로 제시되며, 이는 방법론의 폭넓은 적용 가능성을 뒷받침한다.

논문은 성형 도메인 가정에 대한 의존도가 성형이 아닌 객체(예: 말굽 모양)에는 제한적일 수 있다는 점을 겸허히 언급하며, 향후 연구에서 볼록 껍질(convex-hull) 확장이나 더 복잡한 기하학적 구조를 다루기 위한 배경색 포함 가능성을 시사하였다.