Matrix Completion via Nonsmooth Regularization of Fully Connected Neural Networks

당신이 거대하고 뒤섞인 퍼즐을 완성하려고 노력 중이라고 상상해 보십시오. 그런데 누군가 퍼즐의 커다란 조각들을 통째로 뜯어갔습니다. 남아 있는 조각들의 가장자리는 보이지만, 원래 그림은 풍경화였을 텐데 가운데 부분은 그저 텅 빈 흰 공간일 뿐입니다. 이것이 바로 '행렬 완성(matrix completion)'이라는 수학 및 컴퓨터 과학 분야가 매일 마주하는 고군분투입니다. 행렬 완성은 누락된 정보를 추측하는 데 전념하는 분야입니다. 이는 당신의 스트리밍 서비스가 당신이 좋아할 법한 다음 작품을 추천해 주는 비결이거나, 구름이 가로막은 지구의 흐릿한 사진을 인공위성이 복원해 내는 마법과도 같습니다.

오랫동안 과학자들은 누락된 조각들이 단순하고 직선적인 패턴을 따를 것이라고 가정하며 이 문제를 해결하려 했습니다. 그들은 "왼쪽 상단이 파란색이고 오른쪽 하단이 초록색이라면, 중간은 부드러운 그라데이션이어야 한다"라고 생각했습니다. 하지만 현실 세계는 무질서합니다. 곡선, 뒤틀림, 갑작스러운 변화로 가득 차 있습니다. 이를 처리하기 위해 연구자들은 인간 뇌의 복잡하고 비선형적인 패턴 학습 능력을 모방하도록 설계된 컴퓨터 프로그램인 '신경망(neural networks)'을 사용하기 시작했습니다. 이 신경망을 숨겨진 그림을 알아내기 위해 각기 다른 각도에서 퍼즐을 관찰하는 탐정 팀이라고 생각해 보십시오.

하지만 함정이 있습니다. 이 탐정 팀은 너무 똑똑하고 의욕이 넘친 나머지, 때때로 지나치게 자신만만해집니다. 그들은 실제 퍼즐의 규칙을 배우는 대신, 자신이 가진 몇 안 되는 단서들을 통째로 암기해 버립니다. 과학계에서는 이를 '과적합(over-fitting)'이라고 부릅니다. 이는 연습 시험의 답을 통째로 외웠지만, 개념을 이해하지 못해 실제 시험에서는 낙제하는 학생과 같습니다. 이런 일이 발생하면, 컴퓨터는 실제 현실이 아닌 노이즈(noise)를 바탕으로 누락된 퍼즐 조각을 추측하게 되어, 결과적으로 흐릿하고 잘못된 그림을 만들어냅니다.

이 논문은 이 탐정 팀이 너무 자만하지 않도록 훈련시키는 영리한 새로운 방법을 소개합니다. 벨기에와 룩셈부르크, 그리고 이란의 대학 연구진인 저자들은 'DNN-NSR'이라는 방법론을 제안합니다. 이 방식은 신경망이 멋대로 날뛰게 두는 대신, '비매끄러운 정규화(nonsmooth regularization)'를 통해 부드럽게 유도합니다. 이것은 마치 엄격한 코치가 탐정의 어깨를 툭 치며 "함부로 추측하지 말고 기본에 충실해!"라고 말하는 것과 같습니다. 논문은 훈련 과정 중에 이러한 엄격한 규칙을 서서히 도입함으로써, 네트워크가 더 잘 일반화(generalize)할 수 있게 하여 이전 방식보다 훨씬 높은 정확도로 누락된 퍼즐 조각을 채울 수 있다고 제안합니다.

탐정의 딜레마: 너무 똑똑해서 문제다

저자들이 다루는 핵심 문제는 심층 신경망(deep neural networks)이 매우 강력하지만 과적합에 매우 취약하다는 점입니다. 행렬 완성의 맥나락에서, 네트워크는 '관측된' 항목(당신이 볼 수 있는 퍼즐 조각)만을 가지고 훈련되며, 이를 통해 '누락된' 항목을 추측하려고 시도합니다. 네트워크는 매우 많은 파라미터(수백만 개의 이론을 가진 탐정과 같은)를 가지고 있기 때문에, 이미지나 추천 목록의 근본적인 구조를 학습하는 대신 훈련 데이터에 포함된 특정 노이즈를 쉽게 암기해 버릴 수 있습니다.

저자들은 현대의 대부분의 AI를 구동하는 표준적인 훈련 방식들은 이 문제에 필요한 특정한 종류의 '훈육'을 처리하기에는 적합하지 않은, 매끄럽고 연속적인 수학에 의존하기 때문에 충분하지 않다고 주장합니다. 또한 저자들은 이러한 새로운 엄격한 규칙이 적용될 때, 일반적인 경사 하강법 기반 방식(AI가 학습하는 통상적인 방식)이 이 특정 유형의 문제를 해결할 수 없다는 점을 명시적으로 배제합니다. 또한 기존의 선형 방식(직선형 추측가들)은 데이터가 복잡한 비선형 구조를 가질 때 실패한다는 점도 언급합니다.

해결책: 어깨를 천천히 두드리는 코치

저자들은 'DNN-NSR(Deep Neural Network with Nonsmooth Regularization)'이라 불리는 새로운 알고리즘을 제로합니다. 어려운 곡을 배우는 음악 학생의 비유를 들어 작동 방식을 설명하겠습니다.

1. '비매끄러운(Nonsmooth)' 규칙: 저자들은 훈련 과정에 두 가지 특정한 종류의 '훈육'을 추가합니다.

   • $\ell_1$ 노름($\ell_1$ Norm): 이는 학생에게 음표를 단순하고 희소하게(sparse) 유지하도록 강요하는 규칙 역할을 합니다. 즉, 네트워크가 노이즈일 수 있는 사소하고 미미한 세부 사항을 무시하도록 유도합니다.
   • 핵 노름(Nuclear Norm): 이는 학생이 모든 음표 하나하나에 매몰되기보다 곡의 '큰 그림' 구조를 이해하도록 강요하는 규칙 역할을 합니다. 이는 네트워크가 모든 임시표를 외우기보다 곡의 핵심 테마를 찾도록 유도합니다.
   • 왜 '비매끄러운가?' 이 규칙들은 수학적 지형에 '굴곡'을 만듭니다. 공이 매끄러운 경사면을 따라 굴러가는 대신, 울퉁불퉁하고 거친 바위가 있는 언덕을 내려가는 상황을 상상해 보십시오. 표준적인 경사 하강법(gradient descent)은 이 바위들에 걸려 넘어집니다. 저자들은 이 굴곡을 헤쳐 나가기 위해 '근사 연산자(proximal operator)'라는 특별한 도구를 사용하여, 공이 바위를 타고 넘으려 애쓰는 대신 바위를 뛰어넘을 수 있도록 하는 새로운 방법을 고안해야 했습니다.

2. '단계적' 접근법: 이것이 이 논문의 핵심 비결입니다. 저자들은 엄격한 규칙을 즉시 적용하면 네트워크가 혼란을 느껴 학습을 멈출 수 있다는 것을 깨달았습니다. 그래서 그들은 '단계적 학습' 전략을 사용합니다.

   • 초기 에포크(Early Epochs): 훈련 초기에는 네트워크가 자유롭게 탐색할 수 있도록 허용됩니다. 엄격한 규칙은 무시되거나 매우 약하게 적용됩니다.
   • 후기 에포크(Later Epochs): 훈련이 진행됨에 따라 '코치'는 엄격한 규칙의 강도를 서서히 높입니다. 네트워크는 점차 사고를 단순화하고 가장 중요한 패턴에 집중하도록 강요받습니다.
   • 논문은 이러한 점진적인 도입이 기존 방식보다 성능이 뛰어난 주요 원인이라고 제안합니다. 이는 아이에게 처음부터 조각칼을 쥐여주는 대신, 먼저 찰흙을 자유롭게 가지고 놀게 한 뒤 나중에 제대로 조각하는 법을 가르치는 것과 같습니다.

3. 외삽 단계(Extrapolated Step): 학습 속도를 높이기 위해 저자들은 '외삽(extrapolated)' 기술도 사용합니다. 탐정이 한 걸음 앞으로 나아간 뒤, 두 단계 전의 위치를 되돌아보고 그 탄력을 이용해 더 크고 스마트한 발걸음을 내딛는 것을 상상해 보십시오. 이는 알고리즘이 더 빠르게 수렴(convergence, 훈련 완료)하도록 돕습니다.

시뮬레이션 결과

저자들은 단순히 이론을 제시하는 데 그치지 않고, 자신들의 '단계적 코치'가 실제로 효과가 있는지 확인하기 위해 광범한 시뮬레이션을 수행했습니다. 그들은 선형 추측 방식과 심층 신경망을 사용하는 방식 등 6가지의 다른 인기 있는 알고리즘과 이 방법을 비교 테스트했습니다.

• 합성 데이터(Synthetic Data): 그들은 다양한 크기와 누락률(데이터의 10%~80%가 누락됨)을 가진 가상의 행렬(디지털 퍼즐)을 생성했습니다. 이 테스트에서 DNN-NSR 알고리즘은 다른 알고리즘들을 일관되게 압도했습니다. 예를 들어, 100x200 행렬의 80%가 누락되었을 때, 이 방법은 PSNR(이미지 품질 측정 점수) 23.0441을 달in 반면, 그다음으로 우수한 방법인 LeRMC는 20.3245를 기록했습니다. 이미지 복원 분야에서 이 수치의 작은 차이는 매우 유의미합니다.
• 이미지 인페인팅(Image Inpainting): 그들은 RGB 사진에서 픽셀을 무작위로 가린 실제 이미지를 테스트했습니다. 50%의 픽셀이 누락되었을 때, 이 방법은 경쟁 모델들보다 더 선명하고 정확한 이미지를 생성했습니다. '이미지 I'의 50% 누락 시, 이 방법은 PSNR 30.0301과 SSIM(구조적 유사도 측정치) 0.8521을 달성하여, 그다음으로 좋은 방법의 점수인 29.1411과 0.8411을 앞질렀습니다.
• 추천 시스템(Recommender Systems): MovieLens 데이터셋(100k 및 1M 평점)을 사용하여 알고리즘을 테스트했습니다. 이 테스트에서 이 방법은 가장 낮은 오차율(NMAE)을 기록했으며, 이는 다른 방법들보다 영화를 더 정확하게 추천할 수 있음을 시사합니다. 30%의 데이터가 누락된 MovieLens 100k 데이터셋의 경우, 오차율은 **15.54%**로, 그다음으로 우수한 방법의 **16.85%**보다 낮았습니다.

결론: 학습의 새로운 방식

이 논문은 '비매끄러운' 규칙과 '단계적' 훈련 일정을 결합함으로써, 과적합의 함정에 빠지지 않고 누락된 데이터를 채우도록 심층 신경망을 성공적으로 훈련할 수 있다고 결론짓습니다. 저자들은 자신들의 알고리즘이 안정적인 해(critical point)로 수렴한다는 것을 수학적으로 증명했습니다. 즉, 헛바퀴를 돌며 영원히 헤매지 않는다는 뜻입니다.

저자들은 이러한 결과가 시뮬레이션과 특정 데이터셋에 기반했다는 점을 주의 깊게 명시합니다. 그들은 세상의 모든 가능한 시나리오에 대해 행렬 완성을 해결했다고 주장하는 것이 아닙니다. 다만, 그들의 결과는 이 '단계적 정규화' 접근 방식이 누락된 데이터가 존재하는 복잡하고 비선형적인 세상을 다루는 데 있어 우월한 방법임을 강력하게 시사합니다. 훈련 과정을 엄격한 훈련이 아닌 점진적인 코칭 세션처럼 다룸으로써, 그들은 신경망이 노이즈를 암기하는 대신 더 잘 수행하고, 더 안정적이며, 더 나은 성과를 내도록 만들었습니다.