Supervising the Path to Fine Scales: GalerkinFlow for Scientific-Field and Image Super-Resolution

과학적 이미징의 세계에는 지속적인 과제가 하나 있습니다. 바로 흐릿하고 저해상도인 사진 속에 숨겨진 보이지 않는 세부 사항을 어떻게 볼 것인가 하는 문제입니다. 초해상도(super-resolution)라고 알려진 이 문제는, 신호가 다운샘플링되었거나 거친 센서에 의해 포착되었을 때 소실된 미세한 질감과 날카로운 경계선을 컴퓨터가 어떻게 만들어낼 것인가를 묻습니다. 수십 년 동안 연구자들은 저품질 입력값에서 고품질 출력값으로 가는 직접적인 지름길을 학습하도록 인공지능을 훈련시켜, 흐릿한 버전과 선명하고 완벽한 대응 쌍의 이미지를 대조하는 방식으로 이 문제에 접근해 왔습니다. 이 방법은 충분히 잘 작동하지만, 두 이미지 사이의 여정을 '블랙박스'로 취급합니다. 컴퓨터는 목적지는 학습하지만, 이미지가 그 과정에서 어떻게 점진적으로 선명해져야 하는지에 대한 지침은 갖지 못하며, 이로 인해 흐릿함에서 명료함으로 가는 경로가 탐구되지 않은 채 통제되지 않은 상태로 남게 됩니다.

유니버시티 칼리지 런던(UCL)의 한 연구자는 이 여정을 생각하는 다른 방식을 제안했습니다. 그는 흐릿한 이미지와 선명한 목표물을 단순히 연결해야 할 두 점으로 보는 대신, 그 사이의 공간이 부분적으로 복원된 상태들의 연속적인 스펙트럼으로 채워져 있다는 사실을 깨달았습니다. 이미지 한 쌍을 시작점과 끝점이 있는 결승선이 아니라, 그 사이의 모든 가능한 단계를 정의하는 자(ruler)라고 상상해 보십시오. 이 자를 따라 어느 지점에서든 선명함을 향한 다음의 작은 단계를 예측하도록 컴퓨터를 가르침으로써, 연구자는 단순한 최종 결과물이 아니라 복원의 전체 과정을 학습하는 시스템을 만들어냈습니다. '갤러킨플로우(GalerkinFlow)'라고 불리는 이 새로운 방법은 컴퓨터가 이미지를 생성한 물리 방정식을 알 필요도 없고, 데이터가 어떻게 수집되었는지에 대한 특별한 메타데이터도 필요로 하지 않습니다. 이 시스템은 오직 제공된 쌍의 예시만을 사용하여 거친 상태에서 미세한 상태로 가는 경로를 항해하는 법을 배웁니다.

이 접근 방식의 핵심은 컴퓨터를 가르치는 방식의 변화에 있습니다. 전통적인 방식에서 모델은 흐릿한 이미지를 보고 선명한 이미지를 만들어내라는 명령을 받으며, 최종 출력물에 대해서만 피드백을 받습니다. 그러나 새로운 방식은 동일한 이미지 쌍을 사용하여 흐릿함과 선명함 사이에 위치하는 일련의 중간 이미지들을 만들어냅니다. 이 무작위적인 중간 지점들에서 컴퓨터는 최종 선명한 이미지까지 남은 거리를 예측하도록 요구받습니다. 연구자는 최종 이미지가 어떻게 생겼는지 정확히 알고 있기 때문에, 특정 순간에 추가되어야 할 정밀한 '잔차(residual)' 또는 차이를 계산할 수 있습니다. 이는 단 하나의 훈련 예시를 풍부한 많은 교훈의 원천으로 탈바꿈시킵니다. 모델은 이미지를 선명하게 만들기 시작하는 단계이든 거의 완료된 단계이든, 목표에 도달하기 위해 움직여야 할 방향이 일관되고 예측 가능하다는 것을 학습합니다.

이를 구현하기 위해 연구자는 경로를 안내하는 가이드 역할을 하는 신경망을 구축했습니다. 이 네트워크는 텍 textures를 이해하기 위해 픽셀의 작은 이웃을 살펴보는 국소 특징 추출기(local feature extractors)와, 이미지의 먼 부분들이 서로 어떻게 연관되는지 이해하는 전역 혼합 메커니즘(global mixing mechanism)을 결합합니다. 이러한 구조 덕분에 시스템은 매번 특정 스케일에 맞춰 재학습할 필요 없이 다양한 크기와 해상도의 이미지를 처리할 수 있습니다. 결정적으로, 이 시스템은 '방정식 불가지론적(equation-agnostic)'으로 설계되었습니다. 즉, 자연 경관 이미지뿐만 아니라 유체 역학이나 지하수 흐름과 같은 복잡한 과학적 시뮬레이션 이미지에서도 똑같이 잘 작동한다는 의미입니다. 이 시스템은 물이나 바람을 지배하는 물리 법칙을 알 필요가 없습니다. 단지 데이터가 저해상도에서 고해상도로 어떻게 진화하는지의 패턴만을 이해하면 됩니다.

연구자는 이 아이디어를 매우 다른 두 가지 유형의 데이터, 즉 복잡한 수학적 법칙에 의해 지배되는 공기와 물의 시뮬레이션 흐름과 일상적인 장면을 담은 표준 고해상도 사진에 테스트했습니다. 유체 이동 및 다공성 암석을 통한 지하 흐름을 포함한 과학적 데이터에 대해, 이 새로운 방법은 물리 방정식을 알 필요가 없는 기존의 모든 기술보다 뛰어난 성능을 보였습니다. 이 방식은 재구성된 이미지의 오차를 엄청난 폭으로 줄였으며, 이전의 최고 방법들과 비교했을 때 거의 완벽에 가까운 결과를 달려냈습니다. 예를 들어, 유체 흐름 테스트에서 이 새로운 접근 방식은 특정 스케일에서 차순위 방법보다 오차를 98% 이상 줄였습니다. 이는 복원의 전체 경로를 감독함으로써 모델이 미세한 세부 사항을 복구하는 훨씬 더 견고하고 정확한 방법을 학습한다는 것을 시사합니다.

또한 이 방법은 이미지를 수학적으로 정밀하게 만드는 것보다 인간의 눈에 보기 좋게 만드는 것이 목적인 영역인 자연 사진에서도 효과적임이 입려되었습니다. 이 테스트에서 시스템은 다른 선도적인 모델들보다 더 높은 명료도와 구조적 정확도를 가진 이미지를 생성했으나, 전문적인 사진 보정 도구들과 비교했을 때 '지각적(perceptual)' 품질을 처리하는 방식에서 약간의 차이를 보였습니다. 이는 이 방법이 실제 값과 형태를 복구하는 데는 매우 뛰어나지만, 미세한 예술적 질감을 렌더링하는 방식에 있어서는 전문 사진 모델들이 약간의 우위를 점하고 있음을 나타냅니다. 그러나 단일한 접근 방식이 과학적 데이터의 엄격한 정밀함과 사진의 미묘한 요구 사항 모두에서 탁월할 수 있다는 사실은 중요한 성과입니다.

이 연구의 핵심 통찰 중 하나는 경로 자체가 결정론적(deterministic)이라는 것입니다. 무작위 노이즈를 추가하고 운에 맡기는 일부 생성 모델들과 달리, 이 시스템은 특정한 흐릿한 관측값에서 시작하여 선명한 버전으로 가는 엄격하고 계산된 경로를 따릅니다. 연구자는 모델이 훈련 중에 중간 단계를 본 '지름길'에 너무 의존하는 것을 방지하기 위해, 원래의 흐릿한 이미지로부터 최종 선명한 이미지로 가는 마지막 단계까지도 명시적으로 수행하도록 훈련시키는 것이 중요하다는 것을 발견했습니다. 이를 통해 모델이 실제 환경에서 흐릿한 이미지만을 가지고 시작할 때도 훈련 단계에서만큼 잘 작동하도록 보장합니다.

결과는 단 하나의 이미지 쌍이 이전에 활용되었던 것보다 훨씬 더 많은 정보를 담고 있음을 보여줍니다. 흐릿한 이미지와 선명한 대응 쌍 사이의 관계를 연속적인 궤적으로 취급함으로써, 연구자는 컴퓨터가 복원 과정 전체를 안내할 수 있는 새로운 수준의 감독을 이끌어냈습니다. 이 접근 방식은 컴퓨터가 물리학자나 기상학자가 될 것을 요구하지 않습니다. 단지 알려진 것과 알려지지 않은 것 사이의 경로의 기하학적 구조를 이해하기만을 요구할 뿐입니다. 이 발견은 많은 과학적 및 이미징 작업에 있어 가장 강력한 도구는 더 복잡한 물리 법칙이 아니라, 이미 사용 가능한 데이터를 더 스마트하게 조직하는 방법이라는 점을 시사합니다.