Mitigating the Impact of Retention Loss on Inference Accuracy in 65 nm Single-Poly Floating-Gate Analog In-Memory Computing

컴퓨터가 단순히 공장에서 숫자를 계산하는 것에 그치지 않고, 전기를 이용해 뉴런이 발화하는 방식을 모방하여 인간의 뇌처럼 생각하는 세상을 상상해 보십시오. 이것이 바로 **아날로그 인메모리 컴퓨팅(Analog In-Memory Computing)**의 영역입니다. 데이터를 메모리 뱅크와 프로세서 사이에서 왔다 갔다 옮기는 대신(이는 마치 숟가락이 필요할 때마다 매번 주방으로 달려가는 것과 같습니다), 이 기술은 신경망의 '가중치'—즉, 뇌의 기억과 학습 내용—를 메모리 셀 내부에 직접 저장합니다. 이는 책들이 스스로 수학 계산까지 해줄 수 있는 도서관을 갖는 것과 같습니다.

하지만 문제가 있습니다. 이 메모리 셀들은 종종 미세한 전기적 전하의 떠다니는 섬들로 만들어집니다. 시간이 흐름에 따라, 마치 바람이 빠지는 풍선이 서서히 공기를 잃는 것처럼, 이 셀들은 자연스럽게 전하를 잃게 됩니다. 이를 **보존 손실(retention loss)**이라고 합니다. 디지털 세상에서는 약간의 전하 손실이 단순히 0을 1로 바꿀 뿐이며 이는 수정하기 쉽습니다. 하지만 이 아날로그 뇌에서는 전하 자체가 곧 정답입니다. 만약 전하가 흘러내리면 계산이 틀려지게 되고, 컴퓨터는 고양이를 토스터기로 착각할 수도 있습니다. 과학자들은 이 '새는' 메모리 뇌를 어떻게 하면 몇 달 또는 몇 년 동안 정확하게 유지할 수 있을지 알아내기 위해 필사적입니다. 왜냐하면 이를 해결하지 못한다면, 이 초효율적인 기술은 결코 실험실을 벗어나지 못할 것이기 때문입니다.

이 논문은 표준 65nm 공정 기술(흔히 쓰이는 제조 크기)로 제작된 특정 메모리 칩을 사용하여 바로 이 문제에 파고듭니다. 연구진인 미르코 브라지니(Mirko Brazzini)와 그의 팀은 메모리 셀의 전하가 서서히 새어나감에 따라 신경망이 학습한 내용을 잊어버리는 것을 어떻게 막을 수 있을지 확인하고자 했습니다. 그들은 단순히 추측만 한 것이 아니라, 실제 칩을 제작하고 프로그램을 입력한 뒤 60일 동안 어떤 일이 일어나는지 관찰했습니다.

연구팀은 전하 손실이 마치 정원에 영향을 주는 두 가지 서로 다른 날씨처럼, 두 가지 뚜렷한 방식으로 발생한다는 것을 발견했습니다. 첫째는 **체계적 드리프트(systematic drift)**로, 모든 셀이 예측 가능한 평균적인 방식으로 전하를 잃어 정원 전체의 성장이 한 방향으로 치우치는 현상입니다. 둘째는 **스토캐스틱 노이즈(stochastic noise)**로, 어떤 셀은 조금 더 많이 잃고 어떤 셀은 조금 덜 잃는 혼란스럽고 무작위적인 떨림이며, 이는 예측 불가능하고 어지러운 패턴을 만들어냅니다.

이를 해결하기 위해 팀은 마치 정원사가 스프링클러와 비료를 모두 사용하는 것처럼 두 가지 다른 도구를 시도했습니다. 첫 번째 도구는 **회로 수준의 보상(circuit-level compensation)**이었습니다. 그들은 단순히 '읽기 전압'(메모리를 확인하는 데 사용되는 압력)을 조절함으로써 예측 가능한 평균적 드리프트를 상쇄할 수 있다는 것을 깨달았습니다. 이는 라디오 신호가 모두에게 조금씩 작아질 때 볼륨을 높여 보충하는 것과 같습니다. 두 번째 도구는 알고리즘 재보정(algorithmic recalibration), 구체적으로는 **배치 정규화 재보정(Batch Normalization Recalibration, BNR)**이라 불리는 소프트웨어 기법입니다. 이는 전압 조절만으로는 해결할 수 없는 무작위적이고 혼란스러운 노이즈를 처리하기 위해 신경망의 내부 설정을 다시 튜닝하는 소프트웨어 트릭입니다. 이는 뇌에게 라디오의 잡음에 신경 쓰지 말고 노래에 집중하도록 가르치는 것과 같습니다.

결과는 유망했습니다. 그들이 이미지 인식을 위해 훈련된 두 가지 신경망(VGG-10 및 WideResNet-28-10)에 시스템을 테스트했을 때, 아무것도 하지 않는 것은 재앙이라는 것을 발견했습니다. 60일 후 정확도는 급락했습니다. 전압 조절만 사용했을 때는 도움이 되었지만, 네트워크는 여전히 무작위 노이즈로 인해 어려움을 겪었습니다. 소프트웨어 재보정만 사용했을 때는 노이즈에는 도움이 되었지만 큰 폭의 드리프트는 놓쳤습니다. 그러나 전압 조절과 소프트웨어 재보정을 모두 결합했을 때, 시스템은 영웅이 되었습니다. 실제 실험 데이터로 보정된 시뮬레이션 결과, 네트워크는 60일이 지난 후에도 기준 정확도 대비 단 2~4% 이내의 오차로 원래의 정확도를 회복했습니다.

논문은 이것이 모든 것을 영원히 해결해 주는 마법 지팡이가 아니라는 점을 주의 깊게 명시하고 있습니다. 결과는 실제 65nm 칩의 실측치에 맞춰 정밀하게 조정된 시스템 레벨 시뮬레이션을 바탕으로 합니다. 저자들은 단 하나의 방법만으로는 충분하지 않으며, 작업을 완수하기 위해서는 하드웨어 수정과 소프트웨어 수정이 모두 필요하다는 점을 명시적으로 보여줍니다. 이 논문이 모든 미래의 컴퓨터를 위한 해결책이라고 주장하는 것은 아니지만, 명확하고 실질적인 경로를 제시합니다. 이러한 결합된 기술들을 사용한다면 플로팅 게이트 아날로그 칩이 리셋 없이도 최소 두 달 동안 '기억'을 선명하게 유지하며 딥러닝을 위한 신뢰할 수 있는 장기 추론 작업을 수행할 수 있음을 시사합니다.