Transformer Causality Regularization for Dynamic Inverse Problems

1. 문제 정의 (Problem)

• 동적 역문제 (Dynamic Inverse Problems, DIPs): 시간의 흐름에 따라 변화하는 물체의 상태를 간접적인 관측 데이터로부터 복원하는 문제입니다. (예: 동적 컴퓨터 단층촬영 (CT), MRI 등)
• 주요 난제:
  • 과소 샘플링 (Under-sampling): 각 시간 단계 (time step) 당 측정 가능한 데이터가 매우 적어 문제가 심하게 ill-posed 됩니다.
  • 인과성 (Causality) 위반: 기존의 딥러닝 기반 역문제 해결 방법 (예: Unrolled Adversarial Regularizer, UAR) 은 종종 전체 시간 영역의 데이터를 동시에 처리합니다. 이는 미래의 상태가 과거의 복원 결과에 영향을 미칠 수 있게 하여, 물리적으로 불가능한 '인과성 위반'을 초래합니다. 실시간 복원이나 미래 데이터가 없는 상황에서는 비현실적입니다.
  • 오차 누적: 순차적으로 예측하는 방식만 사용할 경우, 시간이 지남에 따라 예측 오차가 누적되어 복원 품질이 급격히 저하됩니다.

2. 방법론 (Methodology)

저자들은 트랜스포머 인과성 정규화 (Transformer Causality Regularization, TCR) 라는 새로운 하이브리드 접근법을 제안합니다. 이는 고전적인 변분 정규화 (Variational Regularization) 프레임워크와 학습된 인과성 함수를 결합한 것입니다.

A. 핵심 개념: 인과성 함수 (Causality Function)

• 원리: 시간 $t'$ 의 상태 $\vartheta(t')$ 는 오직 이전 시간 $t < t'$ 의 상태에만 의존해야 하며, 미래 상태에는 의존하지 않아야 합니다.
• 구현: 공간 - 시간 트랜스포머 (Spatial-Temporal Transformer) 를 사용하여 인과성 함수 $\Lambda$ 를 학습합니다.
  • 아키텍처: CNN 인코더 (공간 특징 추출) + 트랜스포머 인코더 (시간 의존성 모델링) + CNN 디코더.
  • 인과성 마스크 (Causal Mask): 트랜스포머의 어텐션 메커니즘에 인과성 마스크를 적용하여, 모델이 현재 시점을 예측할 때 과거 데이터만 참조하도록 강제합니다.
  • 위치 인코딩: 회전 위치 임베딩 (RoPE) 을 사용하여 절대적 및 상대적 위치 정보를 통합합니다.

B. TCR 알고리즘 (변분 최적화)

학습된 인과성 함수를 사전 정보 (Prior) 로 활용하여 변분 문제를 풉니다.

• 목적 함수: 각 시간 단계 $t'$ 에서 다음을 최소화합니다.
  $$\min_{\vartheta(t')} \left\{ D[A_{t'}\vartheta(t') - \psi(t')] + \alpha_{t'} P[\vartheta(t') - \Lambda(\{\vartheta(t) : 0 \le t < t'\})] \right\}$$
  • $D$: 데이터 불일치 항 (측정 데이터 $\psi$ 와의 일치도).
  • $P$: 페널티 항 (학습된 인과성 예측치 $\Lambda$ 와의 차이).
  • $\alpha_{t'}$: 정규화 파라미터.
• 해법: $L_2$ 또는 $L_1$ 정규화를 선택하여 경사 하강법 (Gradient Descent) 또는 프록시멀 알고리즘 (Proximal Algorithm) 으로 해를 구합니다.
• 프로세스:
  1. 초기 2 개의 시간 단계에 대한 정제 (Refinement) 및 초기 복원 수행.
  2. 학습된 트랜스포머가 이전 복원 결과를 바탕으로 다음 단계의 예측값 생성.
  3. 생성된 예측값을 사전 정보로 사용하여 변분 최적화를 통해 현재 시간 단계의 최종 복원 결과 도출.

C. 비교 대상 (Baseline)

• UAR (Unrolled Adversarial Regularizer): 기존에 제안된 적대적 학습 기반의 역문제 해결 방법. 이를 동적 설정으로 확장하여 비교 분석했습니다.

3. 주요 기여 (Key Contributions)

1. 인과성 원칙의 통합: 딥러닝 기반 역문제 해결에 '인과성 (미래는 과거에 영향을 주지 않음)'을 수학적 정규화 항으로 명시적으로 통합한 최초의 방법론 중 하나입니다.
2. 하이브리드 프레임워크: 트랜스포머의 강력한 시퀀스 예측 능력과 변분 정규화의 이론적 수렴 보장 (Convergence Guarantee) 을 결합했습니다. 이를 통해 데이터 일관성 (Data Consistency) 을 유지하면서도 오차 누적을 억제합니다.
3. Bochner 공간의 심층학습 확장: 시간 - 공간 변수를 다르게 처리하는 수학적 프레임워크 (Lebesgue-Bochner 공간) 를 딥러닝 모델 (트랜스포머) 에 자연스럽게 매핑했습니다.
4. 실제 데이터 검증: 시뮬레이션 데이터뿐만 아니라, 실제 실험 데이터 (Rolling Stones 데이터셋) 에도 적용하여 모델의 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 데이터 (Dynamic CT):
  • 성능: 제안된 L1-TCR은 3 개 및 10 개의 투영 각도 (angles) 조건 모두에서 동적 UAR 보다 PSNR 및 SSIM 지표에서 우수한 성능을 보였습니다.
  • 시간적 연속성: UAR 은 모든 시간 데이터를 동시에 접근하므로 초기 시간의 품질이 좋지만, TCR 은 인과성 원칙을 따르면서도 변분 최적화를 통해 오차 누적을 보정하여 전체 시간 시리즈의 연속성이 더 뛰어났습니다.
  • 특징 복원: 트랜스포머 예측만으로는 사라지거나 왜곡된 작은 특징 (작은 원, 선 등) 이 TCR 을 통해 변분 최적화 과정에서 데이터 일관성 항에 의해 올바르게 복원되는 것을 확인했습니다.
• 실제 실험 데이터 (Rolling Stones):
  • 훈련 데이터 (단일 물체의 아핀 운동) 와 다른 분포 (세 개의 돌이 각각 독립적으로 이동) 의 실제 데이터에서도 TCR 이 성공적으로 적용되었습니다.
  • 이는 모델이 훈련 데이터의 분포를 벗어난 (Out-of-Distribution) 상황에서도 일반화할 수 있음을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 이론적 근거: TCR 은 변분 정규화 프레임워크를 사용하므로, 기존에 알려진 정규화 및 수렴 이론이 직접 적용되어 해의 안정성과 수렴성을 보장합니다.
• 실용성: 실시간 복원이 필요한 응용 분야 (예: 수술 중 영상, 실시간 모니터링) 에서 미래 데이터에 의존하지 않는 인과적 복원이 가능해졌습니다.
• 한계 및 향후 과제:
  • 초기 2 개의 시간 단계에 대한 고품질 복원 결과가 필요합니다 (이를 개선하기 위해 훈련 중 TV, L1 등 다양한 복원 기법을 혼합하거나 측정 각도를 점진적으로 줄이는 등의 연구가 필요함).
  • 비선형 역문제 (예: MRI, 전기 임피던스 단층촬영) 로의 확장 가능성 탐구가 필요합니다.

요약하자면, 이 논문은 트랜스포머의 시퀀스 예측 능력을 인과성 원칙과 결합하여 동적 역문제에서 발생하는 오차 누적과 인과성 위반 문제를 해결하고, 변분 정규화를 통해 이론적으로 검증된 고품질 복원 결과를 제공하는 획기적인 방법론을 제시했습니다.