🤖 machine learning

Self-attention-based non-linear basis transformations for compact latent space modelling of dynamic optical fibre transmission matrices

이 논문은 다중 모드 광섬유 전송 행렬을 압축된 저차원 잠재 공간으로 동적으로 변환하는 셀프 어텐션 기반 프레임워크를 소개하며, 이를 통해 동적인 환경 변화와 비선형성 문제를 효과적으로 해결하여 최소한의 오차로 고충실도 이미지 재구성을 달성한다.

원저자: Yijie Zheng, Robert J. Kilpatrick, David B. Phillips, George S. D. Gordon

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yijie Zheng, Robert J. Kilpatrick, David B. Phillips, George S. D. Gordon

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: "뒤섞인 메시지" 문제

매우 가느다란 머리카락 같은 유리 실(광섬유)이 있고, 이를 인체 내부를 들여다보는 카메라로 사용하고 싶다고 상상해 보세요. 이 실은 매우 가늘기 때문에 깊은 혈관이나 뇌와 같이 손이 닿기 어려운 아주 작은 곳까지 미끄러져 들어갈 수 있습니다.

하지만 문제가 하나 있습니다. 빛이 이 실을 통과할 때, 빛이 뒤섞여 버립니다(scrambled). 이것은 마치 선명한 사진을 찍은 뒤, 그 사진을 믹서기에 넣고 갈아버린 다음, 그 스무디만 보고 원래 어떤 사진이었는지 추측해야 하는 상황과 같습니다.

과거에 과학자들은 이 뒤섞인 이미지를 풀기 위해 "정적 지도(static map, 미리 계산된 규칙 목록)"를 사용했습니다. 하지만 이 지도는 섬유가 완벽하게 고정되어 있을 때만 작동합니다. 현실 세계에서 섬유는 구부러지고, 뒤틀리고, 온도 변화를 겪으며, 이는 지도를 완전히 망가뜨려 버립니다. 이는 도시의 모양이 지진에 의해 끊임없이 변하고 있는데, 종이 지도로 길을 찾으려는 것과 같습니다.

해결책: "스마트 번역기"

이 논문의 저자들은 스마트 번역기 역할을 하는 새로운 형태의 컴퓨터 두뇌(신경망)를 구축했습니다. 이 번역기는 고정된 지도를 암기하려고 노력하는 대신, 섬유가 움직이고 있는 상황에서도 뒤섞인 데이터를 즉각적으로 이해하기 쉬운 깔끔하고 압축된 형식으로 재구성하는 법을 배웁가 합니다.

그들이 어떻게 이 일을 해냈는지 세 가지 핵심 아이디어로 나누어 설명하겠습니다.

1. "장거리 전화 통화" (Self-Attention)

이미지에 사용되는 대부분의 컴퓨터 두뇌(CNN이라 불리는 것들)는 사진을 보며 바로 옆에 있는 픽셀들에만 주의를 기울이는 사람처럼 작동합니다. 즉, 이웃한 것들이 서로 연관되어 있다고 가정합니다.

하지만 이 광섬유 실에서는, 빛이 유리 내부에서 어떻게 튕겨 나가는지에 따라 왼쪽 끝에 있는 픽셀이 수학적으로 오른쪽 끝에 있는 픽셀과 연결될 수 있습니다. 이것은 마치 장거리 전화 통화에서, 통화 선로의 시작점에 있는 사람이 중간 사람들을 모두 건너뛰고 맨 끝에 있는 사람과 직접 대화하는 것과 같습니다.

저자들은 Self-Attention(현대 AI 챗봇의 기반이 되는 기술)이라는 기술을 사용했습니다. 이 시스템은 단순히 이웃을 보는 대신, 모든 데이터 부분이 서로 즉각적으로 "대화"할 수 있게 해줍니다. 이를 통해 컴퓨터는 연결이 얼마나 멀리 떨어져 있든 상관없이, 빛이 어떻게 뒤섞였는지에 대한 전체적인 그림을 볼 수 있습니다 있습니다.

2. "짐 싸기" (Latent Space Compression)

광섬유에서 나오는 뒤섞인 데이터는 무작위로 던져진 옷들로 가득 찬 여행용 가방처럼 거대하고 엉망진창입니다.

기존 방식: 엉망이 된 가방 전체를 통째로 들고 가려고 합니다. 무겁고 다루기 힘듭니다.
새로운 방식: 저자들의 모델은 숙련된 짐 싸기 전문가처럼 행동합니다. 이 모델은 엉망인 가방을 가져와서 모든 것을 작고 깔끔하며 압축된 정육면체(이것을 "잠재 공간(latent space)"이라고 부릅니다) 안으로 접어 넣습니다.

이 "압축된 정육면체"는 중요한 정보는 모두 유지하면서도 불필요한 잡동사니는 버린 단순화된 데이터입니다. 논문에 따르면, 이들은 나중에 데이터를 다시 풀어낼 능력을 잃지 않으면서도 데이터를 원래 크기의 10% 미만으로 줄일 수 있음(매우 "희소하게" 만듦)을 보여주었습니다.

3. "만능 어댑터" (Basis Invariance)

이 분야에서 가장 골치 아픈 문제 중 하나는 과학자들이 서로 다른 "언어"나 "기저(basis)"(예를 들어 픽셀, 파동, 또는 패턴 단위로 측정하는 것)로 빛을 측정한다는 점입니다. 보통 한 가지 언어로 훈련된 컴퓨터 모델은 다른 언어로 바꿨을 때 제대로 작동하지 않습니다.

저자들의 모델은 만능 어댑터와 같습니다. 그들은 세 가지 다른 "언어"(LP, Fourier, Hadamard 기저)로 데이터를 입력하여 테스트했습니다. 모델은 이 모든 데이터를 동일하고 깔끔한 압축 형식으로 성공적으로 번역해 냈습니다. 이는 모델이 단순히 데이터가 기록된 특정 방식만을 이해하는 것이 아니라, 섬유의 물리 법칙 자체를 이해하고 있음을 의미합니다.

어떻게 테스트했는가

팀은 단순히 추측만 한 것이 아니라 엄격한 테스트를 수행했습니다:

시뮬레이션 섬유: 컴퓨터상에서 수천 개의 가짜 섬로를 만들어 구부리고 뒤틀어보며, 모델이 혼돈 속에서도 잘 작동하는지 확인했습니다.
실제 실험: 실험실에서 실제 유리 섬유를 사용하여 물리적으로 구부리는 실험을 진행했으며, 모델은 여전히 잘 작동했습니다.
"되감기(Unscramble)" 테스트: 데이터를 압축한 다음 원래 이미지를 다시 재구성하려고 시도했습니다. 모델은 원래 데이터의 90% 이상을 정확히 복구해 냈으며, 이는 모델이 중요한 정보를 버리지 않았음을 증명합니다.

결론

이 논문은 Self-Attention(장거리 연결을 보는 기술)과 압축(데이터를 작은 공간으로 접어 넣는 기술)을 사용함으로써, 기존 방식보다 훨씬 더 효과적으로 뒤섞이고 움직이는 광섬유의 현실적인 상황을 처리할 수 있는 시스템을 만들었다고 주장합니다.

이는 정적인 종이 지도를 사용하는 것에서, 도로의 모양이 바뀔 때마다 즉시 경로를 재계산하여 지형이 발밑에서 변하더라도 길을 찾을 수 있게 해주는 GPS로 업그레이드하는 것과 같습니다. 이는 머리카락처럼 가는 섬유를 이용해 선명하고 실시간적인 의료 영상을 구현하는 아이디어를 훨씬 더 실현 가능하게 만듭니다.

기술 요약: 동적 광섬유 매트릭스의 압축된 잠재 공간 모델링을 위한 셀프 어텐션 네트워크

문제 정의

다중 모드 광섬유(MMF)는 체내 깊은 곳의 세포 수준 이미징이 가능한 초박형, 최소 침습적 의료 내시경을 위한 경로를 제공한다. 그러나 이러한 섬유를 통한 빛의 전송은 모드 결합(modal coupling)으로 인해 본질적으로 이미지를 흐리게 만든다. 기존 방식은 사전 보정된 선형 전송 행렬(TM)을 활용하여 이 흐림 현상을 교정하지만, 동적인 실제 환경에서는 실패한다. 물리적 섭동(perturbations)—예를 들어 섬유의 움직임, 온도 변화, 굽힘 등—은 TM을 지속적으로 변화시킨다. 더욱이, 임상 현장에서 섬유 끝단에 접근할 수 없는 경우, 재보정에 필요한 입출력 쌍을 얻는 것은 실질적으로 불가능하다.

기존의 신경망 접근 방식, 특히 합성곱 신경망(CNN)은 이 과업을 수행하는 데 어려움을 겪는다. CNN은 국소적 픽셀 상관관계라는 귀납적 편향(inductive bias)에 의존하는데, 이는 광섬유 TM에 존재하는 장거리 상관관계를 무효화하는 가정이다. 이러한 상관관계는 물리적인 비국소적 모드 결합과 다차원 광학 필드를 행렬 표현으로 평탄화해야 하는 수학적 필요성 모두에서 기인한다. 결과적으로, 기존 아키텍처는 과도하게 많은 파라미터 수를 요구하며, 측정 기준(예: 픽셀, 푸리에, 하다마드)의 변화에 대한 견고성이 부족하고, 섭동된 섬사의 복잡한 역학을 효율적으로 포착하지 못한다.

방법론

저자들은 다양한 섬유 TM을 압축된 저차원 잠재 공간 표현으로 동적으로 변환하기 위해 **셀프 어텐션 레이어(self-attention layers)**를 사용하는 새로운 접근 방식을 제안한다. 핵심 철학은 "압축은 학습이다(compression is learning)"를 따르며, 네트워크가 크고 복잡한 TM을 이미지 재구성이나 굽힘 추정과 같은 다운스트림 태스크에 적합한 희소한 잠재 공간으로 매핑하도록 학습하는 것이다.

데이터 생성 및 데이터셋

본 연구는 네 가지 다양한 종류의 $78 \times 78$ 복소수 값 TM 데이터셋을 사용하여 접근 방식을 검증한다:

무작위 생성 순방향 TM: 실제 섬유의 특성을 나타내는 높은 희소성과 특정 전력 강도 분포를 보이도록 시뮬레이션되었다.
무작위 생성 왕복(round-trip) TM: $T_r = T_f^T R T_f$ (여기서 $R$ 은 산란 반사 행렬)로 계산된다. 이는 단단(single-ended) 이미징과 관련된 조밀한 행렬을 나타낸다.
물리 모델링된 TM: 0.6~1.2m 길이의 굽힘과 곡률을 시뮬레이션하는 분절된 섬유 모델을 사용하여 생성되었다.
실험적 TM: 디지털 미세 거울 장치(DMD)와 CCD 카메라를 사용하는 오프-액시스 홀로그래피 설정을 통해 측정되었으며, 164개의 서로 다른 굽힘 형태를 포함한다.

모델 아키텍처

저자들은 기저 변환(basis transformation)을 위해 여러 아키텍처를 비교한다:

선형 유사 변환(Linear Similarity Transformation): 기저 행렬 $B$ 를 학습하여 $T' = B^{-1}TB$ 로 변환하는 미분 가능한 레이어.
합성곱 신경망 (CNN): LeakyReLU 활성화 함수를 사용하는 표준 2D 합성곱.
완전 연결 신경망 (FCNN): LeakyReLU 활성화 함수를 사용하는 밀집 레이어.
셀프 어텐션 전용 (Self-Attention Only): 단일 셀프 어텐션 레이어.
셀프 어텐션 + FCNN: 멀티 헤드 셀프 어텐션 메커니즘이 두 개의 완전 연결 레이어 앞에 위치하는 제안된 하이브리드 모델.

핵심 메커니즘: 입력 TM은 모드 채널의 시퀀스로 취급된다. 셀프 어텐션 메커니즘은 쿼리(Query, $Q$ ), 키(Key, $K$ ), 값(Value, $V$ ) 행렬을 계산하여 요소 간의 장거리 쌍별 의존성을 포착하며, 이를 통해 CNN의 공간적 국소성 편향 없이 비국소적 상호작용을 학습할 수 있게 한다.

학습 제약 조건

변환이 물리적으로 의미 있고 가역적이 되도록 하기 위해, 모델은 다음과 같은 복합 손실 함수로 학습된다:

희소성 제약 ( $L_1$ ): 변환된 행렬의 $L_1$ 노름을 최소화하여 희소한 잠재 표현을 유도한다.
가역성 제약 ( $L_2$ ): 오토인코더가 변환된 표현으로부터 원래의 TM을 재구성하도록 하여 정보 보존을 보장한다.
희소성 재구성 제약 ( $L_3$ ): 두 번째 오토인코더는 압축된 잠재 공간이 변환된 희소 행렬을 재구성하기에 충분한 정보를 포함하고 있는지 확인한다.
복소수 처리: 실수부와 허수부를 분리하며, 전역 위상 변화에 불변하는 커스텀 손실 함수를 사용한다.

주요 기여

TM 모델링을 위한 셀프 어텐션 도입: 본 논문은 셀프 어텐션 메커니즘이 CNN이 놓치는 광섬유의 장거리, 비국소적 상관관계를 포착하기 때문에 TM 모델링에 독특하게 적합함을 입증한다.
압축된 잠재 공간 표현: 제안된 방법은 조밀하거나 희소한 TM을 매우 희소한 표현(참여율 0.01 ~ 0.11)으로 변환하여, 가역성을 유지하면서 차원을 크게 축소한다.
기저 불변성(Basis Invariance): 학습된 변환은 서로 다른 측정 기준(LP/PIM, 푸리에, 하다마드) 간에 구조적 일관성을 유지하며, 이는 특정 기저에 과적합되는 기존 모델의 한계를 해결한다.
동적 섭동에 대한 견고성: 모델은 동적인 전송 행렬 섭동에 대한 내성을 보여주며, 측정 중에 섬유 상태가 변하는 시나리오(TM의 열을 교체하는 것으로 시뮬레이션됨)를 효과적으로 처리한다.

결과

희소성 및 효율성: Self-Attention + FCNN 모델은 가장 낮은 참여율( $\text{sparse}$ 행렬의 경우 $p \approx 0.03$ , $\text{dense}$ 행렬의 경우 $0.11$)과 가장 작은 잠재 공간 비율(조밀한 행렬의 경우 최대 3.22%까지)을 달성하여 CNN, FCNN 및 선형 모델보다 우수한 성능을 보였다.
재구성 정확도: 모델은 $\text{sparse}$ 행렬의 경우 오차 $\le 8\%$ , $\text{dense}$ 행렬의 경우 $\le 14\%$ 로 원래의 TM을 성공적으로 재구성했다. 반면, CNN은 $\text{dense}$ 행렬에 대해 큰 오차(최대 32%)를 보였다.
교차 기저 일관성: 동일한 물리적 상태이지만 서로 다른 기저를 가진 변환된 행렬 간의 코사인 유사도는 원래 행렬(약 0.65)보다 셀프 어텐션 모델(약 0.80)에서 훨씬 높게 나타났다. 이는 모델이 기저 특이적 아티팩트가 아닌 근본적인 물리적 구조를 학습했음을 나타낸다.
일반화: 물리적으로 시뮬레이션된 섭동된 TM으로 학습된 모델은 재학습 없이 실험적으로 측정된 TM에 성공적으로 일반화되었으며, 참여율을 0.37에서 0.12로 감소시켰다.
섭동 견고성: 모델은 열 교체(column swapping) 비율이 13%에 달하는 동적 섭동 하에서도 낮은 재구성 오차(<22%)를 유지한 반면, CNN은 이러한 조건에서 비선형 변환을 효과적으로 달성하는 데 실패했다.

의의 및 주장

저자들은 이 접근 방식이 동적 섬유 TM을 모델링하기 위한 유연하고 메모리 효율적이며 견고한 프레임워크를 제공한다고 주장한다. 복잡하고 고차원적인 행렬을 압축된 잠재 공간으로 변환함으로써, 이 방법은 단단(single-ended) 섬유 이미징을 용이하게 하여 바늘 크기의 이미징 장치 배치를 가능하게 할 잠재력을 가진다.

본 논문은 셀프 어텐션의 성공이 TM을 구조화된 시퀀스로 취급하여 섭동에 적응하는 입력 의존적 변환을 학습하는 능력에 있음을 강조한다. 고정된 선형 기저나 국소성 편향을 가진 CNN과 달리, 이 데이터 의존적 방식은 정확한 섬유 모델링에 필수적인 비국소적 모드 결합을 포착한다.

저자들은 모델이 반복되는 구조를 포착하기는 하지만, 개별 잠재 변수가 아직 물리적 좌표(예: 특정 굽힘 반경)에 명시적으로 매핑되지는 않았다고 겸허히 언급했다. 그러나 이 연구는 실시간 왜곡 보정, 누락된 데이터 보간, 그리고 유사한 행렬 압축 기술을 다른 산란 매체에 적용하기 위한 토대를 마련한다. 또한, 현재의 한계점으로 셀프 어텐션의 행렬 크기에 따른 이차적 스케일링(quadratic scaling) 문제와 복소수 행렬에 대한 실수 기반 최적화 사용을 언급하며, 향후 상태 공간 모델(예: Mamba) 및 완전한 복소수 기반 학습에 대한 연구 가능성을 시사했다.