⚡ electrical engineering

FCDM: A Physics-Guided Bidirectional Frequency Aware Convolution and Diffusion-Based Model for Sinogram Inpainting

이 논문은 시노그램의 각도 의존성과 물리적 특성을 고려하기 위해 양방향 주파수 추론, 각도 인식 마스킹, 물리 가이드 정규화를 결합한 확산 모델 기반의 FCDM 프레임워크를 제안하여, 희소 뷰(sparse-view) CT의 시노그램 복원 성능을 크게 향상시켰습니다.

원저자: Jiaze E, Srutarshi Banerjee, Tekin Bicer, Guannan Wang, Yanfu Zhang, Bin Ren

게시일 2026-02-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiaze E, Srutarshi Banerjee, Tekin Bicer, Guannan Wang, Yanfu Zhang, Bin Ren

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: "중간이 뻥 뚫린 퍼즐 조각"

우리가 병원에서 CT(컴퓨터 단층 촬영)를 찍을 때, 기계는 물체를 여러 각도에서 X-레이로 훑으며 데이터를 수집합니다. 이 데이터를 **'시노그램(Sinogram)'**이라고 부르는데, 쉽게 말해 **'물체의 단면을 보여주는 아주 긴 퍼즐 조각'**이라고 생각하면 됩니다.

그런데 문제가 있습니다.

문제점: 환자의 몸을 보호하기 위해 방사선 노출을 줄이거나, 촬영 시간을 단축하려고 하면 이 '퍼즐 조각(데이터)'을 몇 개 빼고 찍게 됩니다(Sparse-view CT).
결과: 퍼즐 조각이 중간중간 비어 있으니, 나중에 이 조각들을 맞춰서 3D 영상을 만들려고 하면 그림이 깨지거나 흐릿하게 보이는 '노이즈'가 생깁니다.

2. 기존 기술의 한계: "일반 사진 복원 AI의 실수"

기존에는 우리가 흔히 쓰는 '사진 복원 AI(예: 옛날 사진 선명하게 만들기)'를 이 문제에 써봤습니다. 하지만 이건 맞지 않는 옷을 입는 것과 같았습니다.

비유: 일반 사진은 '옆에 있는 픽셀이 빨간색이면 여기도 빨간색이겠지?' 하는 식으로 주변 색깔을 보고 채웁니다.
시노그램의 특성: 하지만 시노그램은 단순한 사진이 아니라, **'각도와 물리 법칙'**이 담긴 데이터입니다. 마치 악보와 같아서, 한 음표가 빠지면 단순히 옆 음표를 베끼는 게 아니라 **'음악의 흐름(물리적 규칙)'**을 알아야 정확한 음을 채울 수 있는 것과 같습니다. 기존 AI는 이 '음악적 흐름(물리 법칙)'을 무시하고 그냥 옆에 있는 색만 칠하려다 보니 결과가 엉망이 되곤 했습니다.

3. FCDM의 해결책: "물리학을 공부한 천재 화가"

이 논문에서 제안한 FCDM은 단순히 색을 채우는 게 아니라, "물리학 법칙을 이해하고 음악적 흐름을 읽는 천재 화가" 같은 AI입니다. 세 가지 핵심 비결이 있습니다.

① "양방향 주파수 안경" (BFDC)

이 AI는 데이터를 볼 때 두 가지 안경을 동시에 씁니다. 하나는 **'가로 방향(각도)'**을 보고, 다른 하나는 **'세로 방향(검출기)'**을 봅니다. 마치 오케스트라 연주를 들을 때 바이올린 소리와 첼로 소리를 따로 분리해서 듣는 것처럼, 데이터의 복잡한 패턴을 아주 정밀하게 분석합니다.

② "물리 법칙 가이드라인" (Physics-Guided)

AI가 그림을 그릴 때, "이건 물리적으로 말이 안 돼!"라고 혼내는 선생님 역할을 합니다. 예를 들어, "X-레이가 통과할 때 에너지는 보존되어야 해!"라는 법칙을 알려주어, AI가 엉뚱한 숫자를 채워 넣지 못하게 막습니다.

③ "똑똑한 노이즈 조절" (FANS & FEME)

그림을 완성해가는 과정(Diffusion 과정)에서, AI는 처음부터 끝까지 똑같은 방식으로 작업하지 않습니다.

초반에는: 전체적인 큰 형태(뼈대)를 잡는 데 집중합니다.
후반에는: 아주 미세한 디테일(피부 결 같은 세밀한 부분)을 다듬는 데 집중합니다.
마치 조각가가 처음에는 커다란 돌덩이를 깎아 형태를 만들고, 나중에는 아주 작은 정으로 세밀한 표정을 만드는 것과 같습니다.

4. 결론: "더 빠르고, 더 안전하게"

결과적으로 이 FCDM 기술을 사용하면:

방사선 노출은 줄이면서 (데이터를 적게 찍어도 되니까)
촬영 시간은 단축하고 (빨리 찍어도 되니까)
결과물은 마치 완벽하게 찍은 것처럼 아주 선명한 3D 영상을 얻을 수 있습니다.

한 줄 요약: "물리 법칙과 데이터의 흐름을 완벽히 이해하는 AI를 통해, 적은 양의 데이터로도 완벽한 CT 영상을 만들어내는 기술"입니다.

[기술 요약] FCDM: 물리 가이드 기반 양방향 주파수 인지 컨볼루션 및 확산 모델 기반 사이노그램 인페인팅

1. 문제 정의 (Problem Statement)

배경: CT(컴퓨터 단층 촬영) 영상 획득 시, 전체 뷰(Full-view) 사이노그램을 얻으려면 높은 방사선량과 긴 스캔 시간이 필요합니다. 이를 해결하기 위해 적은 수의 투영 데이터를 사용하는 'Sparse-view CT'가 사용되지만, 이는 사이노그램에 구조적인 데이터 손실을 일으켜 재구성된 영상의 품질을 저하시킵니다.
기존 방식의 한계:
- RGB 중심 모델의 부적합성: 기존의 RGB 이미지용 인페인팅 모델(Diffusion 포함)은 픽셀 간의 국소적 관계에 의존합니다. 반면, 사이노그램은 라돈 변환(Radon transform)에 의해 전역적으로 결합(Globally coupled)되어 있으며, 방향성이 뚜렷한 주파수 패턴을 가집니다.
- 물리적 제약 무시: 기존 딥러닝 모델들은 사이노그램의 물리적 형성 원리나 주파수 도메인의 특성을 명시적으로 모델링하지 못해, 재구성 시 비물리적인 아티팩트(Artifact)를 생성합니다.

2. 제안 방법론 (Methodology: FCDM)

FCDM은 사이노그램의 기하학적 특성과 물리적 법칙을 반영하기 위해 **2단계 프레임워크(Two-stage framework)**를 제안합니다.

[Stage 1: 표현 학습 (Representation Learning)]

BFDC (Bidirectional Frequency-Domain Convolution): 사이노그램의 검출기(Detector) 축과 투영 각도(Angle) 축을 독립적으로 처리하는 양방향 주파수 도메인 컨볼루션을 도입합니다. 이를 통해 얽혀 있는 주파수 특징을 분리하여 추출합니다.
물리 가이드 손실 함수 (Physics-Guided Loss):
- Total Projection Consistency Loss ( $L_{absorp}$ ): 각 투영 각도에서의 총 흡수량이 물리적으로 일관되게 유지되도록 강제합니다.
- Frequency Domain Consistency Loss ( $L_{freq}$ ): 인페인팅된 사이노그램과 원본 사이노그램 간의 주파수 도메인 차이를 최소화하여 스펙트럼 아티팩트를 방지합니다.

[Stage 2: 확산 기반 복원 (Diffusion-based Restoration)]

FEME (Fourier-Enhanced Mask Embedding): 단순한 이진 마스크 대신, 투영 각도 정보를 푸리에 기저(Fourier basis)로 인코딩하여 마스크에 주입합니다. 이를 통해 모델이 누락된 영역의 각도 간 상관관계를 이해하도록 돕습니다.
FANS (Frequency-Adaptive Noise Scheduling): 확산 과정에서 노이즈를 주파수별로 다르게 주입합니다. 초기 단계에서는 저주파 성분을 보존하여 전체적인 구조를 안정화하고, 후기 단계에서는 고주파 성분에 집중하여 세부 디테일을 정밀하게 복원합니다.

3. 주요 기여 (Key Contributions)

도메인 특화 설계: 사이노그램의 비등방성(Anisotropic) 주파수 구조와 물리적 특성을 반영한 새로운 확산 모델 프레임워크를 제안했습니다.
양방향 주파수 인지 컨볼루션(BFDC) 도입: 검출기와 각도 축의 특징을 분리하여 학습할 수 있는 구조를 설계했습니다.
기하학적/주파수 적응형 확산 프로세스: FEME와 FANS를 통해 확산 모델이 사이노그램의 투영 기하학 및 주파수 민감도를 인지하도록 개선했습니다.
물리적 일관성 확보: 총 흡수량 보존 제약 조건을 통해 재구성 영상의 물리적 타당성을 높였습니다.

4. 실험 결과 (Results)

데이터셋: 실세계 데이터인 TomoBank 및 LoDoPaB를 사용하여 검증했습니다.
성능 지표: 다양한 마스킹 비율(0.4, 0.6, 0.8)과 마스킹 패턴(Random, Periodic) 환경에서 기존의 최신 모델(RePaint, CoPaint, LaMa, SinoTx 등)을 압도했습니다.
수치적 성과: SSIM 0.93 이상, PSNR 31dB 이상의 높은 정확도를 달성했습니다.
시각적 결과: 기존 모델들이 보이는 각도 방향의 줄무늬(Streaking) 아티팩트가 현저히 적고, 재구성된 영상(FBP reconstruction)의 품질이 매우 뛰어남을 확인했습니다.

5. 의의 (Significance)

본 논문은 단순히 이미지의 '외형'을 채우는 기존 인페인팅 방식을 넘어, 데이터가 생성되는 물리적 원리(라돈 변환 및 흡수 법칙)를 딥러닝 모델에 통합했다는 점에서 큰 의의가 있습니다. 이는 고해상도/저선량 CT 촬영이 필수적인 방사선 과학 및 재료 분석 분야에서 데이터 손실 문제를 해결할 수 있는 강력한 도구를 제공합니다.