FFR: Forward-Forward Learning for Regression

이 논문은 서열적 경쟁 적합도(ordinal competitive goodness), 계층적 사다리 구조, 그리고 계층적 예측을 채택함으로써 회귀 작업을 위해 생물학적으로 타당한 Forward-Forward 알고리즘을 적응시킨 최초의 프레임워크인 FFR을 소개하며, 이를 통해 메모리와 계산 비용을 크게 줄이면서도 역전파(backpropagation)에 근접한 정확도를 달성한다.

핵심

당신이 작업자 팀에게 방 안의 미래 온도를 예측하는 법을 가르치려 한다고 상상해 보세요.

과거의 방식 (역전파 - Backpropagation):
수십 년 동안 표준이었던 이 방법은 엄격하고 하향식인 매니저와 같습니다. 매니저는 최종 예측치를 보고 그것이 틀렸음을 확인한 뒤, 전체 팀을 거슬러 올라가며 모든 작업자가 실수에 어떻게 기여했는지 하나하나 정확히 알려줍니다.

• 문제점: 이 방식은 매니저가 모든 작업자가 과정 중에 무엇을 했는지 전부 기억해야 함을 의미합니다(이는 엄청난 정신적 공간/메모리를 소모합니다). 또한, 매니저가 전체 역방향 과정을 마칠 때까지 아무도 자신의 실수를 수정할 수 없습니다. 이는 느리고, 메모리를 많이 사용하며, 생물학적으로 비현실적입니다(우리 뇌는 이런 방식으로 작동하지 않습니다).

이전의 "새로운" 방식 (포워드-포워드 - Forward-Forward):
몇 년 전, "포워드-포워드(FF)"라는 새로운 방법이 발명되었습니다. 역방향으로 걷는 매니저 대신, 이 방식은 "로컬(국소적)" 접근법을 사용합니다. 각 작업자는 오직 자신의 바로 옆 이웃만을 바라봅니다.

• 작동 방식: 이 방식은 예/아니오 질문(분류)에는 매우 뛰어났습니다(예: 고양이인지 강아지인지 맞히기). 시스템은 작업자에게 "좋은" 예시(진짜 고양이)와 "나쁜" 예시(무작위 강아지)를 보여줍니다. 그러면 작업자는 "나는 고양이를 좋아하고, 강아지는 싫어한다"라고 학습합니다.
• 문제점: 이 방식은 고양이나 강아지를 골라내는 데는 완벽하지만, 온도와 같은 숫자를 예측하는 것(회귀 - Regression)에는 처참하게 실패합니다. "이 온도는 좋다 또는 나쁘다"라고 말하기 어렵기 때문입니다. 목표 온도가 21°C일 때 20°C는 "나쁜" 것일까요? 100°C는 어떤가요? 기존 방식은 숫자의 '거리'를 이해하지 못했고, 단지 무언가가 "맞느냐 틀리느냐"만을 알 수 있었습니다.

새로운 솔루션: FFR (회귀를 위한 포워드-포워드 - Forward-Forward for Regression)
이 논문은 이 "로컬 작업자" 방식이 드디어 온도, 속도, 가격과 같은 연속적인 숫자를 다룰 수 있도록 만드는 FFR이라는 새로운 시스템을 소개합니다. 그들은 세 가지 영리한 기술을 사용하여 이를 구현했습니다.

1. "좋음 vs 나쁨" 대신 "줄다리기"

"좋은" 예시와 "나쁜" 예시를 보여주는 대신, FFR은 작업자들을 팀으로 나눕니다.

• 비유: 목표 온도가 20°C라고 가정해 봅시다. 작업자들은 그룹으로 나뉩니다. 그룹 A는 1015°C를 담당하고, 그룹 B는 1520°C를, 그룹 C는 20~25°C를 담당하며, 이런 식으로 계속됩니다.
• 기술: 시스템은 단순히 "그룹 B가 정답이다"라고 말하지 않습니다. 대신 "그룹 B가 승자이지만, 그룹 A와 그룹 C는 아까운 차순위이며, 그룹 Z(100°C)는 완전한 패배자다"라고 말합니다.
• 효과: 이는 작업자들에게 단순히 어떤 그룹이 맞는지뿐만 아니라, 정답에 얼마나 가까운지까지 가르쳐줍니다. 이는 기존의 "좋음 vs 나름" 게임을 "누가 가장 가까운가?"라는 경쟁으로 대체합니다.

2. "계층적 사다리" (거친 단계에서 정교한 단계로)

이 논문은 작업자들이 위로 올라갈수록 더 정밀해지는 특별한 사다리 구조를 구축합니다.

• 비유:
  • 하단 계단 (얕은 층): 이 작업자들은 초안 작성자와 같습니다. 그들은 단순히 온도가 "추움", "따뜻함", 또는 "더움"인지만 결정합니다. 이들은 크고 거친 추측을 합니다.
  • 상단 계단 (깊은 층): 이 작업자들은 정밀한 예술가와 같습니다. 이들은 아래에서 올라온 "따뜻함"이라는 추측을 받아 "20.5°C"로 정교하게 다듬습니다.
• 협업: 시스템은 거친 추측을 그냥 버리지 않습니다. 모든 것을 유지합니다. 맨 꼭대기에 있는 "헤드 코치(최종 층)"는 아래의 거친 추측과 위의 정교한 추측을 모두 살펴보고, 이를 혼합하여 최종 예측을 만듭니다. 이를 통해 시스템이 초기에 잘못된 추측에 갇히지 않도록 보장합니다.

3. "공짜 점심" (불확실성)

보통 컴퓨터가 자신의 답에 얼마나 확신이 있는지 알기 위해서는 시뮬레이션을 수천 번 실행하여 결과가 얼마나 변하는지 확인해야 합니다. 이는 시간이 너무 오래 걸립니다.

• FFR의 기술: 시스템에 모든 단계(거친 단계부터 정교한 단계까지)마다 작업자가 있기 때문에, 시스템은 그들에게 단순히 물어보기만 하면 됩니다: "너희 생각은 어때?"
• 결과: 만약 "거친" 작업자들과 "정교한" 작업자들이 서로 의견이 일치한다면, 시스템은 매우 확신합니다. 만약 그들이 서로 다투고 있다면, 시스템은 "아, 이번 건은 잘 모르겠어"라고 인지합니다.
• 이점: 시스템은 추가적인 작업 없이 즉시 예측값과 신뢰도 점수를 함께 제공합니다. 이것이 바로 "공짜 점심"입니다.

무엇을 증명했는가?

저자들은 이를 다음과 같은 실제 문제들에 테스트했습니다:

• 스마트 홈의 에너지 사용량 예측.
• 공장 내 기계 도구의 고장 시점 예측.
• 실내 위치 예측 (GPS 없이).
• 웨어러블 기기를 통한 건강 지표 예측.
• 이미지 품질 판정.

결과:

• 정확도: FFR은 기존의 무거운 "역전파" 방식 정확도의 약 **98.6%**에 도달했습니다.
• 메모리: 중간 깊이에서는 메모리의 **27%**만 사용했고, 매우 깊은 단계에서는 **8%**만 사용했습니다. (이미지를 상상해 보세요. 기존 방식의 배낭은 책을 추가할수록 무한히 무거워지지만, FFR의 배낭은 책을 아무리 넣어도 크기가 일정하게 유지되는 것과 같습니다.)
• 속ness: "역방향 걷기"를 기다릴 필요가 없기 때문에 단계당 약 28% 더 빠르게 학습했습니다.

요약하자면:
FFR은 단순한 "예/아니오" 결정에만 유용했던 기존의 방법을 복잡한 숫자 예측까지 처리할 수 있도록 업그레이드했습니다. 이를 위해 학습 과정을 "가장 가까운 추측" 경쟁으로 바꾸고, 거친 단계에서 정교한 단계까지 이어지는 작업자 사다리를 구축했으며, 신뢰도 점수를 공짜로 얻어냈습니다. FFR은 우리가 수십 년간 분야를 지배해 온 무겁고 메모리 집약적인 "역방향 걷기" 없이도 똑똑하고 효율적인 AI를 구축할 수 있음을 증명합니다.

기술 요약

기술 요약: FFR (Regression을 위한 Forward-Forward)

1. 문제 정의

Hinton 등이 제안한 Forward-Forward (FF) 알고리즘은 두 번의 순전파(양성 및 음성 데이터)를 통한 순수하게 국소적이고 층 단위인 최적화를 통해 신경망을 학습시킴으로써, 역전파(Backpropagation, BP)에 대한 생물학적으로 타당하고 메모리 효율적인 대안을 제시한다. 그러나 FF는 본질적으로 분류(classification) 작업에 설계되어 있어, "진짜"(양성) 샘플과 "가짜"(음성) 샘플의 대조적 쌍(contrastive pairs)에 의존한다. 이를 실제 세계의 회귀(regression) 문제로 확장하는 데에는 두 가지 근본적인 과제가 존재한다:

1. 자연적 음성 샘플의 부재: 연속적인 타겟 공간에서는 "음성" 샘플에 대한 자연스러운 정의가 존재하지 않는다. 무작위로 잘못된 레이블이 충분한 분류와 달리, 연속적인 값(예: $y+0.1$ 대 $y+100$)은 무엇이 동일하게 틀린 것인지에 대해 동일하게 범주화하기 어렵기 때문에 대조적 쌍을 구성하는 방식이 모호해진다.
2. 크기 및 순서 인식 불능: 표준 FF의 "굿니스(goodness)" 함수($g = \|h\|^2$)는 이진 판별을 위해 활성화 크기를 측정하지만, 타겟의 크기나 서수적 순서(ordinal ordering)에 대한 정보는 담고 있지 않다. 이는 상대적인 값 사이의 거리가 중요한 실수형 예측을 감독하기에는 부적합하다.

이 간극을 메우려는 기존의 시도들은 제한적이었다: 일부는 회귀를 허용 오차 범위(tolerance bands)에 대한 이진 분류로 치환하려 했으나(높은 오버헤드와 제한된 정확도 유지), 다른 이들은 방향 미분(directional derivatives)으로 굿니스 함수를 대체하여(하드웨어 구현 가능성을 위해 정확도를 희생) 시도했다. 이들 중 어떤 것도 다양한 실제 회귀 데이터셋에서 BP와 경쟁할 만한 성능을 입증하지 못했다.

2. 방법론: FFR 프레임워크

저자들은 세 가지 핵심 혁신을 통해 FF를 회귀로 확장하는 FFR (Forward-Forward for Regression) 프레임워크를 제안한다.

2.1 서수적 경쟁 굿니스 함수 (Ordinal Competitive Goodness Function)

직접적인 MSE 회귀나 대조적 쌍을 사용하는 대신, FFR은 각 은닉층을 **서수 분류기(ordinal classifier)**로 취급한다.

• 이산화(Discretization): 연속적인 타겟 범위 $[y_{min}, y_{max}]$를 층 $\ell$에서의 $K_\ell$개의 순서 있는 빈(bin)으로 분할한다.
• 경쟁 그룹(Competitive Groups): 층 내의 뉴런들을 특정 빈에 대응하는 서로 소거적인 그룹 $\{G_{\ell,1}, \dots, G_{\ell,K_\ell}\}$로 분할한다.
• 서수적 감독(Ordinal Supervision): 하드한 원-핫 레이블(one-hot labels) 대신, FFR은 **거리 인식 소프트 레이블(distance-aware soft label)**을 사용한다. 실제 타겟 $y$를 중심으로 하는 가우시안 범프(Gaussian bump)를 생성하고 이를 빈의 중앙값에 투영한다. 이를 통해 인접한 빈이 먼 빈보다 더 높은 확률 질량을 갖도록 하는 타겟 분포 $q_{\ell,k}$를 생성한다.
• 굿니스 계산: 그룹의 "굿니스"는 해당 뉴런들의 평균 제곱 활성화이다. 이는 확률 분포 $p_{\ell,k}$로 정규화된다. 층 손실(layer loss)은 소프트 레이블 $q$와 굿니스 분포 $p$ 사이의 교차 엔트로피(cross-entropy)이다. 이는 타겟의 서수적 구조를 인코딩하면서 국소적 경쟁을 보존한다.

2.2 계층적 사다리 구조 (Stratified Ladder Architecture)

"표현 붕괴(representation collapse)"(모든 층이 동일한 조잡한 특징을 학습하는 현상)를 방지하고 세밀한 회귀를 가능하게 하기 위해 다음을 수행한다:

• 계층적 입도(Stratified Granularity): $K_\ell$의 개수는 각 층을 거칠 때마다 두 배로 증가한다 ($K_\ell = 2^{d_0 + \ell - 1}$). 얕은 층은 조잡한 서수 판별(넓은 빈)을 학습하고, 깊은 층은 이를 세밀한 파티션으로 정교화한다.
• 그룹별 정규화(Group-wise Normalization): 그룹 간의 활성화 누출을 방지하기 위해, 전체 층이 아닌 각 그룹 내에서 정규화를 적용한다.
• 사다리 집계(Ladder Aggregation): 모든 중간 층의 굿니스 값(스칼라)을 결합하여 최종 선형 회귀 헤드로 전달한다. 이를 통해 중간 층에 대한 그래디언트 역전파 없이도 층 간 협업을 가능하게 하여, FF의 국소 업데이트 특성을 보존한다.

2.3 계층적 예측 및 불확실성 추정

FFR은 사다리 구조의 다중 스케일 특성을 활용하여 견고한 예측과 불확실성 추정을 "공짜로" 제공한다:

• 앙상블 예측: 각 중간 층 $\ell$은 빈 중앙값에 대한 소프트맥스 분포를 기반으로 연속적인 예측값 $\mu_\ell$을 생성한다. 최종 예측 $\hat{y}$는 모든 층의 출력과 최종 헤드의 가중 앙상블이다.
• 공짜 점심으로서의 불확실성: 예측 불확실성은 앙상블 평균 주변의 층별 예측값들의 가중 분산(weighted dispersion)으로 계산된다. 이는 몬테카를로 드롭아웃(Monte Carlo dropout)이나 베이지안 근사 없이도 신뢰도 지표를 제공한다.

3. 주요 기여

1. 최초의 실제 세계 FF 회귀 프레임워크: FFR은 스마트 홈 IoT, 산업용 센싱, 실내 위치 추적, 웨어러블 헬스케어, 이미지 품질 평가를 포함한 다양한 도메인에서 경쟁력 있는 성능을 입증하며, FF를 실제 회귀 작업으로 성공적으로 확장한 첫 번째 프레임워크이다.
2. 세 가지 기술적 혁신:
   • 대조적 쌍을 거리 인식 서수 감독 하의 층 내 경쟁으로 대체하는 서수적 경쟁 굿니스 함수.
   • 서수적 입도를 깊이에 따라 확장하고 다중 스케일 특징을 집계하는 계층적 사다리 구조.
   • 단일 순전파 과정에서 견고한 추정과 불확실성 정량화를 제공하는 계층적 예측 메커니즘.
3. 효율성 및 성능: FFR은 5개의 실제 벤치마크에서 BP-UR과 동등한 모델 대비 평균 **98.6%**의 정확도를 달s성한다. 결정적으로, 깊이 8에서 BP 대비 피크 훈련 메모리를 **27%**로, 깊이 32에서 **8%**로 줄이는 동시에, 반복당 훈련 시간을 BP의 약 72% 수준으로 유지한다.

4. 실험 결과

저자들은 다음 항목에 대해 FFR을 평가하였다:

• 합성 벤치마크: Sin-Cos, Exp-Trig-Poly, 그리고 다중 타겟 변형(MT-A, MT-B).
• 실제 데이터셋: 가전제품 에너지(Appliances Energy), 공구 마모(Machine Tool Wear), UJIIndoorLoc, BIDMC(웨어러블 헬스), KonIQ-10k(이미지 품질).

주요 결과:

• 정확도: FFR은 모든 BP-free 경쟁 모델(FF-MSE, FF-CLF, FF-CAR, FF-Zero, PEPita, F3 포함)을 능가했다. 몇몇 실제 데이터셋(UJIIndoorLoc, BIDMC, Appliances)에서는 표준 BP 베이스라인을 오히려 능가하기도 했는데, 이는 계층적 앙상블이 보완적인 신호를 더한다는 것을 시사한다.
• 메모리 스케일링: 저장된 활성화 값으로 인해 깊이에 따라 메모리 사용량이 선형적으로 증가하는 BP와 달리, FFR의 메모리 사용량은 로컬 업데이트 후 중간 활성화를 폐기하기 때문에 깊이가 증가해도 거의 일정하게 유지된다.
• 불확실성: 시각화 결과, 예측 불확실성 밴드가 어렵거나 이례적인 샘플에 대해 올바르게 넓어지는 것을 확인하였으며, 이는 "공짜 점심" 불확실성 추정의 유용성을 검증한다.

5. 의의 및 주장

본 논문은 정교하게 설계된 국소 학습이 전역 최적화(BP)와 대등한 성능을 훨씬 적은 훈련 비용으로 달성할 수 있음을 보여준다고 주장한다. FF의 대조적 성격과 회귀의 연속적 타겟 공간 사이의 근본적인 불일치를 해결함으로써, FFR은 메모리와 업데이트 잠금(update-locking) 제약으로 인해 BP가 불가능한 자원 제한적 하드웨어(예: IoT 센서, 엣지 컨트롤러, 로보틱스)에 생물학적으로 타당하고 메모리 효율적인 학습을 배치할 수 있게 한다.

저자들은 현재 구현이 표준 부동 소수점 정밀도를 사용하며 저비트 가속기나 아날로그/물리 컴퓨팅 하드웨어에서 아직 검증되지 않았음을 언급하며 한계를 인정하였고, 이를 향후 연구 과제로 남겨두었다.