OphEdit: Training-Free Text-Guided Editing of Ophthalmic Surgical Videos

기술 요약: OphEdit

문제 제기
고충실도 수술 영상 생성은 의료 교육 및 AI 개발에 필수적이지만, 개인정보 보호 규정, 전문가 주석 달기의 높은 비용, 희귀 임상 사건의 대표성 부족으로 인해 대규모 주석 데이터셋 확보는 여전히 중요한 병목 현상입니다. 최근 텍스트-영상 (T2V) 모델이 자연 영역 영상 합성 분야에서 진전을 이루었지만, 이를 안과 수술에 적용하는 것은 어렵습니다. 기존 접근법은 주로 처음부터 전체 영상 시퀀스를 재생성하는 데 중점을 두어, 기존 영상 내 특정 수술 단계 (예: 기구 교체 또는 단계 전환) 를 수정하는 데 필요한 세밀한 제어 가능성을 결여하고 계산 효율성이 낮습니다. 또한, 표준 영상 편집 프레임워크는 임상적 현실성에 필수적인 엄격한 해부학적 무결성과 시간적 일관성을 유지하는 데 어려움을 겪으며, 종종 출력물의 의료적 유용성을 훼손하는 구조적 왜곡이나 떨림 아티팩트를 유발합니다.

방법론
OphEdit 는 안과 수술 영상의 텍스트 기반 편집을 위한 새로운 학습 없는 프레임워크를 제안합니다. 이 시스템은 T2V 모델 (특히 Ophora 기반을 활용) 로 생성된 기존 수술 영상을 기반으로 작동하며, 추가 모델 미세 조정이나 쌍을 이루는 데이터셋 없이 목표 텍스트 프롬프트에 따라 영상을 수정합니다. 방법론은 두 가지 주요 단계로 구성됩니다:

1. 주의 값 저장을 통한 결정론적 역변환:
   이 과정은 결정론적 2 차 ODE 솔버 (DDIM-Solver) 를 사용하여 원본 수술 영상을 노이즈가 있는 잠재 표현으로 역변환하는 것으로 시작합니다. 역변환 중 프레임워크는 트랜스포머의 자기주의 (self-attention) 레이어에서 주의 값 (V) 텐서를 포착하여 저장합니다. 저자들은 쿼리 또는 키 텐서가 아닌 값 텐서에 초점을 맞추는데, 이는 값 텐서가 눈의 풍부한 해부학적 구조와 정교한 질감을 포괄하기 때문입니다. 계산 효율성과 구조적 충실도 사이의 균형을 맞추기 위해, 이러한 텐서는 고해상도 공간에서 작동하는 최종 $m$ 개의 주의 블록과 전역 구조 레이아웃이 확립되는 최종 $n$ 개의 역변환 단계에서만 선택적으로 저장됩니다.

   수술 영상에서 흔히 발생하는 시간적 떨림 문제를 해결하기 위해, 역변환은 2 차 적분 기법을 사용합니다. 단일 선형 이산화 대신, 로그-SNR 중간점에서 중간 "반 단계"를 계산하여 궤적을 정제합니다. 이는 각 단계에서 전체 단계와 중간점에서 두 번의 순방향 통과를 수행하여 엄격한 시공간 정렬을 보장합니다.

2. 시간 단계 정렬 주의 값 주입:
   편집 (탈노이즈) 단계에서 시스템은 목표 텍스트 프롬프트 ($p_t$) 로 역방향 확산 궤적을 안내하여 편집된 영상을 생성합니다. 원본 해부학적 기하학을 보존하면서 의미론적 변화를 적용하기 위해 OphEdit 는 선택적 주입 메커니즘을 활용합니다. 이진 주입 일정은 조건부 값 텐서를 저장된 소스 값 텐서로 교체하는 것을 초기 고노이즈 영역 (첫 $n_{inject}$ 단계) 으로 제한합니다.

   이러한 초기 단계 동안, 프레임워크는 분류기 없는 안내 (CFG) 공식 내에서 조건부 분기의 값 텐서를 저장된 소스 텐서로 교체하여 구조적 정렬을 강제합니다. 이는 네트워크가 목표 프롬프트가 의미론적 세부 사항을 안내하도록 허용하면서도 원본 해부학의 공간적 및 구조적 사전 지식을 준수하도록 만듭니다. 후속 단계에서는 모델이 미세한 질감과 의미론적 세부 사항을 합성하기 위해 자유롭게 탈노이즈를 수행합니다. 편집 과정은 역변환에 사용된 2 차 적분 기법을 반영하여, 시간적 부드러움을 보장하고 깜빡임 아티팩트를 제거하기 위해 이중 경로 잠재 업데이트 (전체 단계 및 중간점) 를 수행합니다.

주요 기여
본 논문은 세 가지 주요 기여를 제시합니다:

• 안과 수술을 위한 최초의 학습 없는 프레임워크: OphEdit 는 안과 수술 영상의 텍스트 기반 편집에 특화된 최초의 프레임워크로, 포괄적인 수동 녹화나 비용이 많이 드는 모델 미세 조정 없이 자연어를 통해 수술 요소 (기구 유형, 조직 반응, 수술 단계) 를 정밀하게 조작할 수 있게 합니다.
• 새로운 역변환 - 편집 파이프라인: 저자들은 2 차 솔버 역변환 중 주의 값 (V) 텐서를 포착하고 이를 탈노이즈 과정에 선택적으로 주입하는 파이프라인을 도입합니다. 이 접근법은 텍스트 기반 의미론적 수정을 영상 스트림에 매핑하면서도 해부학적 충실도를 엄격하게 보존합니다.
• 시간적 일관성을 위한 2 차 적분: 떨림 아티팩트를 방지하기 위해 프레임워크는 2 차 적분 기법을 도입합니다. 로그-SNR 중간점에서 이중 경로 잠재 업데이트를 계산함으로써, 이 방법은 엄격한 시공간 정렬을 보장하여 임상적 현실성에 필수적인 연속적인 수술 역학을 보존합니다.

결과
이 프레임워크는 안과 수술의 12 가지 서로 다른 단계를 포함하는 Ophora 데이터셋을 사용하여 평가되었습니다. 시스템은 적응된 일반 영역 영상 편집 기준선인 FateZero 와 비교 테스트되었습니다. 안과 전문의는 19 가지 단계별 개입에 대해 맹검 평가를 수행하여 해부학적 일관성, 올바른 수술, 전체 편집 점수를 매겼습니다.

• 정량적 성능: OphEdit(DDIM-Solver 변형 사용) 는 해부학적 일관성 점수 **61.40%**와 올바른 수술 점수 **43.85%**를 기록하여 FateZero(각각 57.89% 및 24.56%) 를 능가했습니다. 2 차 솔버를 사용한 OphEdit 변형 (DDIM-2 차) 은 표준 솔버 (26.31%) 와 FateZero(24.56%) 에 비해 올바른 편집을 생성한 비율이 가장 높은 **35.08%**를 달성했습니다.
• 정성적 관찰: 시각적 비교는 OphEdit 가 안구 구조를 유지하면서 기구를 성공적으로 교체 (예: 파코에물시피케이션 핸드피스를 동축 세척 흡인 핸드피스로 교체) 하고 수술 물질을 변경 (예: 나트륨 히알루로네이트 대신 트라이판 블루 염료 주입) 했음을 보여주었습니다. 반면, FateZero 는 종종 객체를 올바르게 변경하지 못했고 가시적인 아티팩트와 시간적 불일치를 발생시켰습니다.
• 분포: 임상 평가 점수는 OphEdit(DDIM-2 차) 가 성능 분포의 오른쪽 상단 사분면에서 성공적인 편집이 가장 집중되어 있음을 보여주었으며, 이는 보존된 안구 구조를 가진 정확한 수술 수정을 나타냅니다.

의의
본 논문은 OphEdit 가 안과 수술 분야에서 학습 없는 영상 편집의 최초 적용이라고 주장합니다. 그 의의는 수동 녹화나 모델 미세 조정과 관련된 prohibitive 한 비용 없이 다양한 주석 의료 데이터셋을 생성할 수 있는 확장 가능한 솔루션을 제공한다는 점에 있습니다. 의료 영역의 엄격한 해부학적 및 시간적 제약을 해결함으로써, 이 연구는 실제 임상 환경에서 포착하기 어려운 현실적인 수술 변형 (기구 교체 및 수술 절차 변형 등) 생성을 가능하게 합니다. 이 기능은 수술 교육, 성과 평가, 로봇 보조 수술을 위한 AI 시스템 개발을 지원하여 의료 AI 의 현재 데이터 부족 병목 현상을 극복할 가능성을 제시합니다.