Multi-Conditioned Diffusion Synthesis of Sand Boils for Low-Resource Earthen-Levee Inspection

기술 요약: 저자원 토사 제방 점검을 위한 다중 조건부 확산 합성(Multi-Conditioned Diffusion Synthesis)

문제 정의
토사 제방은 중요한 기반 시설이지만, 그 상태를 대규모로 모니터링하기는 어렵습니다. 주요한 안전 위협 결함은 "샌드 보일(sand boil, 모래 분출)"로, 이는 내부 침식(파이핑 현상)의 초기 가시적 단계에서 압력이 가해진 물이 지표면으로 모래를 운반하며 발생합니다. 현장 이미지에서 이러한 결함을 탐지하고 세그멘테이션(segmentation)하는 작업은 주석(annotation) 데이터의 심각한 부족으로 인해 어려움을 겪고 있습니다. 결함은 고수위 이벤트 발생 시에만 나타나며, 광범위한 선형 네트워크 전반에 분포되어 있고, 픽셀 수준의 정확한 주석을 위해서는 수리학적 전문 지식이 필요합니다. 기존의 데이터 증강 방식(회전, 반전, 색상 변조 등)은 이미 존재하는 소규모의 정제된 참조 세트 이외의 새로운 장면 분포(예: 다른 토양 유형, 수리학적 체계 또는 조명 조건)를 합성하는 데 한계가 있습니다.

방법론
본 논문은 결함의 기하학적 구조를 보존하면서 레이블의 출처(provenance)를 보장하도록 설계된 확산 기반 합성 파이프라인을 제안합니다. 이 파이프라인은 세 가지 결합된 단계로 구성됩니다:

1. 백본 및 적응(Backbone and Adaptation):

   • 시스템은 **Stable Diffusion XL (SDXL)**을 백본으로 사용합니다. 저자들은 최신 rectified-flow 모델(예: SD 3.5) 대신 SDXL을 의도적으로 선택했는데, 이는 SDXL이 공개적으로 사용 가능한 ControlNet 및 IP-Adapter 체크포인트의 성숙도가 더 높고, 특정 어댑터 랭크(rank)와 데이터 예산 하에서 개별 훈련 프레임을 암기(memorize)하려는 경향이 더 낮기 때문입니다.
   • DreamBooth와 **Low-Rank Adaptation (LoRA)**을 사용하여 39개의 정제된 참조 세트로 모델을 미세 조정합니다. 희귀 트리거 토큰(sbx)은 어댑터를 고정하여, 모델이 동결된 베이스 가중치를 수정하지 않고도 샌드 보일을 렌더링할 수 있게 합니다.

2. 다중 조건부 생성(Multi-Conditioned Generation):

   • 생성된 장면을 실제 현장 참조 모델에 구속하면서도 질감의 다양성을 허용하기 위해, 파이프라인은 네 개의 ControlNet 브랜치 스택을 사용합니다: Canny 에지(윤곽선), 단안 깊이(3D 레이아웃), 표면 법선(돔 형태의 테두리 릴리프), 그리고 HED(Holistically-Nested Edge Detection) 소프트 에지(테두리 질감).
   • 결함 보존형 소프트 마스크 인페인팅(Defect-Preserving Soft-Mask Inpainting): 표준 이미지-투-이미지(image-to-image) 또는 포아송 심리스 클로닝(Poisson seamless cloning)은 경계선 문제나 색상 번짐을 유발하므로, 본 파이프라인은 소프트 마스크 잠재 블렌딩(soft-mask latent blending) 프로토콜을 사용합니다. 그라운드 트루스(ground-truth) 마스크를 반전, 침식(erosion), 가우시안 블러 처리를 하여 매끄러운 그래디언트를 생성합니다. 디퓨전 루프 동안 디노이저(denoiser)는 그래디언트 영역 내에서만 예측을 수행하여, 경계 영역이 배경과 일관된 전이를 협상하는 동시에 결함의 핵심 픽셀을 픽셀 단위로 그대로 보존하도록 합니다.
   • 적응형 기하 구조(Adaptive Geometry): 침식 반경과 블러 커널 너비는 결함의 바운딩 박스 크기로부터 적응적으로 도출되며, 이를 통해 보존 마진이 결함의 크기에 따라 확장되도록 보장합니다.

3. 프롬프트 큐레이션 및 품질 관리:

   • 프롬프트 아틀라스(Prompt Atlas): 분류 체계 기반의 시스템이 수기 작성 프롬프트 목록을 대체합니다. 단일 JSON 명세가 도메인 개념, 트리거 토큰, 그리고 축(axis)(예: 토양 유형, 날씨, 조명)을 정의합니다. 빌더는 이를 계층화된 프롬프트 뱅크로 확장하며, 길이에 따른 필터링, TF-IDF를 통한 중복 제거, 부정적 개념 스크리닝, 그리고 CLIP 이미지-텍스트 유사도를 통한 참조 세트 검증 과정을 거칩니다.
   • 볼록 껍질 주석기(Convex Hull Annotator, CHA): 완전 자동화된 형태 인식 파이프라인이 확률 맵을 이진 마스크와 폴리곤 주석으로 변환합니다. 이 시스템은 컴포넌트의 형태 인자(compact, elongated, 또는 thin)에 따라 적절한 클리닝(볼록 껍질, 형태학적 폐쇄 또는 스켈레톤화)을 적용하도록 경로를 지정합니다. 이를 통해 모든 합성 출력물에 대해 단일하고 재현 가능한 마스크 생성 정책을 보장합니다.
   • 품질 필터링: **CLIP 허용성 필터(CLIP admissibility filter)**는 참조 세트의 leave-one-out 통계를 사용하여 수용 범위를 정의합니다. 이를 통해 인간의 검토 없이도 분포 외(OOD) 드리프트 및 암기된 샘플(훈련 프레임의 근접 중복본)을 자동으로 거릅니다.

주요 기여
본 논문은 다음과 같은 구체적인 기술적 기여를 가진 생성 파이프라인을 소개합니다:

• 결함 보존형 소프트 마스크 잠재 블딩: 결함의 외형을 그대로 고정하면서 디노이저가 배경과 일관된 전이를 협상할 수 있도록 하는 단계별 구성 규칙으로, 이진 인페인팅이나 포아송 클로닝에서 발생하는 경계선 문제나 색상 왜곡을 제거합니다.
• 결함 크기 적응형 소프트 마스크 기하 구조: 소프트 마스크의 침식 및 블러 파라미터를 결함의 공간적 범위에 따라 자동으로 스케일링하여, 이미지당 수동 튜닝의 필요성을 제거합니다.
• 볼록 껍질 주석기 (CHA): 균일한 훈련 레이블을 생성하고 마스크 조건부 생성의 드리프트 체크 게이트 역할을 하는 클래스 불가지론적(class-agnostic) 형태 인식 파이프라인입니다.
• 마스크 조건부 생성 (MaskCN): 이진 마스크를 조건 입력으로 사용하는 보완적 경로로, 마스크 자체가 구조적으로 그라운드 트루스 레이블이 되도록 만듭니다. 이는 실제 소스 기하 구조와 독립적으로 다양한 결함 형태와 배치를 생성하는 '제로 주석 다양성 엔진' 역할을 합니다.
• 분류 체계 기반 프롬프트 아틀라스: 단일 도메인 명세를 검증된 프롬프트 뱅크로 확장하는 재현 가능한 JSON 기반 큐레이션 시스템으로, 코드 변경 없이 새로운 결함 클래스에 적용 가능합니다.
• 자동 참조 세트 유사도 필터링: 참조 세트의 leave-one-out CLIP 통계로부터 자동 튜닝된 임계값을 사용하여 OOD 드리프트 및 암기(memorization)를 제거하는 사후 생성 필터입니다.

결과
파이프라인은 199개의 실제 훈련 이미지와 39개의 정제된 참조 세트로 평가되었습니다.

• 데이터셋 생성: 파이프라인은 1,020개의 합성 후보를 생성하였으며, 그 중 815개가 CLIP 허용성 필터를 통과하여 증강 데이터셋을 형성했습니다.
• 이미지 품질: 평가는 FID, KID, CLIP 이미지-텍스트 유사도, LPIPS 다양성을 사용하여 수행되었습니다.
  • 단일 프리셋이 모든 지표를 지배하지는 않았습니다. (소프트 마스크 인페인팅과 HED, 표면 법선, IP-Adapter를 사용하는) V4 프리셋이 증강 데이터셋의 기본값으로 선택되었습니다. V4는 일부 대안보다 높은 FID를 기록하여 (실제 매니폴드에서 더 멀리 벗어났음을 의미하지만), 더 우수한 레이블 신뢰성과 장면 다양성을 제공했습니다.
  • MaskCN은 가장 높은 CLIP 유사도와 집합 내 다양성을 달-성했으나, 레이블 검증 게이트(중앙값 IoU 드리프트 0.15)를 통과하지 못했습니다. 즉, 그 "정확한" 레이블을 기존 세그멘터 체크포인트가 아직 인증할 수 없음을 의미합니다.
  • Poisson 베이스라인: 포아송 심리스 클로닝 베이스라인은 더 낮은 FID 점수를 기록했으나, 진정한 장면 다양성이나 경계선 없는 경계를 제공하는 데 실패하여, 낮은 FID가 데이터 품질을 보장하는 충분한 척도가 아님을 확인시켜 주었습니다.
  • 충실도 vs 다양성: 정밀도/재현율 분해 결과, 일부 프리셋(V1 등)은 높은 충실도(실제 매니폴드와의 근접성)를 보였으나, 선택된 V4 프리셋은 충실도를 일부 희생하는 대신 더 높은 다양성과 결정적으로 단일 정책의 레이블 출처(label provenance)를 확보했습니다.
• 암기 감사(Memorization Audit): 최근접 참조 감사를 통해 합성 샘tp들이 훈련 세트의 CLIP 공간 중복본이 아님을 확인했습니다 (최대 유사도 0.925 vs 동일성 1.0).

의의 및 주장
본 논문은 그 주장의 범위를 이미지 품질, 레이블 출처, 다양성으로 겸손하게 제한합니다. 저자들은 다운스트림 세그멘테이션 성능에 대한 연구는 향로 과제로 남겨둔다고 명시했습니다.

• 주요 기여는 주석이 달린 사례가 부족한 저자원 환경에서 고품질의 레이블된 합성 데이터를 생성하기 위한 방법론을 제시하는 것입니다.
• 파이프라인은 구조적 조건화(ControlNet)와 결함 보존 프로토콜(소프트 마스크 인페인팅)이 제공될 경우, 확산 모델이 전체 재학습 없이도 틈새 과학적 클래스(토사 제방 결함)에 적응할 수 있음을 입증합니다.
• 저자들은 시스템의 재현성을 강조하며, 훈련된 어댑터, 프롬프트 아틀라스, 시드 캐스케이드(seed cascades)를 포함한 전체 파이프라인을 공개합니다.
• 본 연구는 "구조에 의한 레이블링(label-by-construction, MaskCN)"과 "재구성에 의한 레이블링(label-by-reconstruction, 소프트 마스크 + CHA)"의 경로를 제시하며, 규모 있는 레이블 검증이 병목 구간임에도 불구하고 제로 주석 다양성 엔진을 위한 길을 열어줍니다.

결론적으로, 단일 구성이 모든 지표에 최적은 아니지만, 상호 보완적인 프리셋(매니폴드 커버리지, 다양성, 레이블 신뢰성의 균형)을 큐레이션하여 혼합하는 것이 다운스트림 세그멘터를 훈련하기 위한 자연스러운 증강 전략이 됩니다.