💻 computer science

Synthetic Benchmarks Overstate Forward-Forward Scaling: Real-Data Limits of Layer-Local Training

이 논문은 Forward-Forward 학습이 소규모 합성 벤치마크에서는 우수한 성능을 보이지만, 대규모 실제 데이터셋에서는 역전파에 비해 성능이 크게 떨어지며 표준 하드웨어에서 메모리 이점을 제공하지 못한다는 점을 입증함으로써, 레이어 국소적 학습(layer-local training)의 근본적인 확장 한계를 드러내는 DTG-FF 프레임워크를 소개한다.

원저자: Yucheng Chen

게시일 2026-06-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yucheng Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 글은 논문의 내용을 쉬운 언어와 일상적인 비유를 사용하여 설명한 것입니다.

핵심 아이디어: AI를 가르치는 새로운 방법

당신이 복잡한 퍼즐을 풀기 위해 학생 팀을 가르치고 있다고 상상해 보세요.

기존 방식 (역전파/Backpropagation/BP): 선생님이 맨 앞에 서서 퍼즐 전체를 해결한 다음, 줄에 서 있는 학생들을 하나씩 뒤로 돌아가며 각 학생이 어떤 실수를 했는지 정확히 알려주어 수정하게 합니다. 이 방식은 매우 효과적이지만, 선생님이 퍼즐 전체와 모든 학생의 위치를 한꺼번에 기억해야 합니다. 이는 마치 이어달리기에서 바톤(오차 신호)을 시작점까지 다시 전달해야 하는 것과 같습니다.
새로운 방식 (포워드-포워드/Forward-Forward/FF): AI의 전설 제프리 힌튼(Geoffrey Hinton)이 제안한 이 방식은 각 학생을 독립적으로 가르치려고 시료합니다. 각 학생은 자신이 방금 한 작업을 보고 "이게 '좋은' 것인가?"라고 스스로 묻습니다. 만약 좋다면 그것을 유지하고, 나쁘다면 수정합니다. 그들은 선생님이 뒤로 걸어와서 무엇이 잘못되었는지 알려줄 때까지 기다리지 않습니다. 그들은 그저 국소적으로(locally) 학습합니다.

약속된 장점: 이 새로운 방식은 더 효율적(메모리 절약)이며 인간의 뇌가 학습하는 방식과 더 유사하다고 합니다.
문제점: 지금까지 이 방식은 특히 크고 실제적인 작업에서 기존 방식만큼 똑똑하지 못했습니다.

이 논문이 수행한 작업

위첸 첸(Yucheng Chen)이 이끄는 저자들은 이 새로운 "포워드-포워드" 방식(DTG-FF라 불림)의 가장 완벽한 버전을 구축하여, 이 방식이 마침내 기존 방식을 따라잡을 수 있는지 확인했습니다. 그들은 이를 일종의 스트레스 테스트로 다루었습니다: "만약 이 새로운 방식에 가능한 모든 이점을 제공한다면, 실제 데이터에서 기존 방식을 이길 수 있을까?"

세 가지 주요 발견

1. "실제 세계"의 한계

저자들은 표준 이미지 데이터셋(CIFAR 및 ImageNet 등)을 통해 새로운 방식을 테스트했습니다.

결과: 최상의 설정을 갖추었음에도 불구하고, 새로운 방식은 여전히 기존 방식에게 패배했습니다.
- 단순한 데이터셋(CIFAR-10)에서 기존 방식이 약 2.4% 앞섰습니다.
- 더 어려운 데이터셋(CIFAR-100)에서는 그 격차가 **6%**까지 벌어졌습니다.
- 매우 높은 해상도의 데이터셋(ImageNet)에서 새로운 방식은 정확도가 **49%**에 그친 반면, 기존 방식은 보통 75% 이상을 기록합니다.
비유: 새로운 형태의 자동차 엔진을 상상해 보세요. 이 엔진은 연료 효율이 더 높다고 알려져 있습니다. 저자들은 이 엔진의 가장 진보된 버전을 만들었습니다. 그 결과, 작은 고카트 트랙(32x32 픽셀)에서는 잘 작동하지만, 실제 고속도로(ImageNet)에서는 크게 고전한다는 것을 발견했습니다. 아무리 미세하게 조정하더라도 기존 엔진만큼 똑똑해질 수 없는 "천장"에 부딪힌 것입니다.

2. "가짜 vs 진짜"의 함정

이전 연구들은 새로운 방식이 다양한 카테 カテゴ리(클래스)를 처리하는 데 뛰어나다고 주장했습니다. 그들은 카테고리 수를 늘려가는 합성(synthetic) 수학 문제로 이를 테스트했습니다.

반전: 이 가짜 문제들에서는 카테고리가 늘어날수록 새로운 방식이 실제로 더 좋아졌습니다. 하지만 실제 이미지(고양이, 강아지, 자동차 사진 등)에서는 카테го리가 늘어날수록 새로운 방식의 성능이 오히려 떨어졌습니다.
비유: 이것은 새로운 언어 번역기를 테스트하는 것과 같습니다.
- 합성 테스트: 당신이 가짜 단어들을 번역하라고 시킵니다. 가짜 단어가 많아질수록 번역기는 패턴을 더 잘 추측하게 됩니다.
- 실제 테스트: 당신이 실제 책을 번역하라고 시킵니다. 더 복잡하고 미묘한 단어들이 많아질수록 번역기는 실패하기 시작합니다.
- 결론: 가짜 테스트는 오해의 소지가 있었습니다. 그것들은 "카테고리가 많아지는 것"과 "미세한 차이를 구별하는 능력"을 혼동했습니다. 실제 세상은 수학 문제보다 훨씬 어렵습니다.

3. "메모리"의 신화

사람들이 이 새로운 방식으로 전환하고 싶어 했던 주요 이유 중 하나는 메모리였습니다. 기존 방식은 피드백을 뒤로 보내기 위해 학생들이 한 모든 일을 기억해야 합니다. 새로운 방식은 모든 것을 즉시 잊어버려 컴퓨터 메모리를 대폭 절약할 수 있다고 여겨졌습니다.

현실 점검: 저자들은 이를 표준적인 보급형 컴퓨터 칩(8GB 메모리)에서 테스트했습니다.
결과: 새로운 방식은 실제 적용 시 메모리를 절약하지 못했습니다. 사실, 기존 방식이 공간을 아끼기 위해 사용하는 표준적인 기술(그래디언트 누적, gradient accumulation)을 사용할 때보다 오히려 더 많은 메모리를 사용하고 더 느렸습니다.
비유: 새로운 방식은 "무게가 거의 느껴지지 않는 배낭"으로 홍보되었습니다. 저자들이 테스트해 본 결과, 실제로는 기존 방식의 배낭이 가진 영리한 접이식 메커니즘 덕분에 기존 방식의 배낭이 더 가벼웠으며, 새로운 방식은 실제로는 더 무거웠습니다.

실패의 "이유"

저자들은 왜 이 새로운 방식이 어려움을 겪는지에 대한 이론을 제시합니다.

기존 방식 (BP): 선생님은 구체적이고 전역적인(global) 신호를 줍니다: "너 여기서 실수했어, 그 이유는 바로 이 특정 연결 때문이야." 이는 모든 학생을 완벽하게 연결합니다.
새로운 방식 (FF): 각 학생은 "이건 좋다/나쁘다"라는 모호한 신호만을 받습니다.
논문의 통찰: 저자들은 새로운 방식이 전역적인 신호를 흉내 내기 위해 다양한 "편법"(무작위 노이즈 추가, 특수한 수학적 기법 사용, 또는 마지막에 모든 학생의 추측을 결합하는 방식 등)을 사용한다는 것을 발견했습니다. 이러한 편법들이 도움이 되긴 하지만, 이는 단지 "부분적인 대체물"일 뿐입니다. 그것들은 기존 방식이 제공하는 강력하고 직접적인 연결을 완전히 대체할 수 없습니다.

요약

이 논문은 인기 있는 새로운 AI 아이디어에 대한 "현실 점검"입니다.

저자들은 새로운 방식의 가장 강력한 버전을 구축했습니다.
이 방식은 실제 세계의 작업에서 여전히 기존 방식에 뒤처진다는 것을 발견했습니다.
이전의 "성공"들은 실제 삶으로 이어지지 않는 가짜의 쉬운 테스트들에 기반했다는 것을 발견했습니다.
약속된 메모리 절감 효과는 실제 하드웨어에서 실제로 일어나지 않는다는 것을 발견했습니다.

결론: "포워드-포워드" 아이디어는 흥미롭고 생물학적 영감을 받았지만, 아직 대규모의 실제 AI 모델을 훈련하기 위한 전통적인 "역전파(Backpropagation)" 방식을 대체할 수 있는 실행 가능한 대안은 아닙니다. 두 방식 사이의 격차는 실재하며, 작업이 어려워질수록 그 격차는 더 벌어집니다.

기술 요약: 합성 벤치마크가 Forward-Forward 스케일링을 과장하고 있다

문제 제념 (Problem Statement)
Hinton [2022]가 제안한 Forward-Forward (FF) 알고리즘은 전역적 역전파(backpropagation, BP)를 국소적 "goodness" 업데이트로 대체함으로써 엄격하게 레이어 단위의 로컬 대안을 제공한다. 최근 FF-CNN 변형 모델들이 소규모 벤치마크(예: 32×32 CIFAR-10)에서 BP와의 정확도 격차를 좁혔으나, 레이어 로컬 학습이 실제 규모나 복잡한 실세계 데이터 분포에서도 실행 가능한 대안인지 여부는 여전히 불분명하다. 핵심적인 질문은 관찰된 FF의 성능이 최적화되지 않은 구현 때문인지, 아니면 근본적인 구조적 제약 때문인지이다. 또한, 기존의 합성 벤치마크는 FF가 클래스 수( $K$ )에 따라 잘 확장되는 것처럼 시사하지만, $K$ 가 미세한 구별 난이도와 상관관계를 갖는 실제 이미지 분포에서도 이러한 전이 가능성이 유지될지는 알려져 있지 않다. 마지막으로, FF의 주장된 시스템적 이점—구체적으로 BP의 $O(L)$ 대비 FF의 $O(1)$ 활성화 메모리 복잡도—은 일반적인 하드웨어에서 메모리 최적화된 BP 베이스라인을 대상으로 엄격하게 검증되지 않았다.

방법론: DTG-FF
이러한 질문들을 해결하기 위해, 저자들은 레이어 로컬 학습의 한계를 스트레스 테스트하기 위해 설계된 새로운 도구인 DTG-FF를 도입한다. DTG-FF는 FF 계열의 새로운 SOTA(State-of-the-Art)를 구축하기 위해 세 가지 구체적인 메커니즘 수준의 개선 사항을 통합한다:

동적 온도 Goodness (Dynamic Temperature Goodness, DTG): 고정된 스케일링 대신, 각 레이어 $l$ 은 학습 가능한 파라미터 $\alpha_l$ 을 통해 스칼라 온도 $T_l$ 을 학습한다. 이 온도는 고정된 무작위 투영 리드아웃(random projection readout)으로 전달되기 전에 로컬 goodness 신호( $\tilde{u}_l = u_l / T_l$ )를 스케일링한다. 이를 통해 표현 내용(representation content)을 변경하지 않고도 최적화 신호의 크기를 레이어별로 적응시킬 수 있다.
디커플링된 정규화 (Decoupled Normalization): 저자들은 배치 정규화(Batch Normalization, BN)가 제곱 활성화 노름(squared activation norms)에서의 클래스 조건부 분산을 붕괴시켜 goodness 기반 학습을 방해한다는 점을 식별했다. DTG-FF는 세 갈래의 아키텍처를 채택한다:
- Goodness 경로: ReLU 이후의 가공되지 않은 활성화 값이 (정규화 없이) 로컬 손실로 직접 전달된다.
- 전파 경로 (Propagation Path): 활성화 값은 다음 레이어의 스케일을 제어하기 위해 (no_grad 영역 내에서 작동하는) 비 아핀(non-affine) LayerNorm을 통과하지만, FF 학습 신호에는 영향을 주지 않는다.
- 분류기 경로 (Classifier Path): 특징값들은 전역 평균 풀링(Global Average Pooling, GAP)을 통해 추출되어 결합된 후, 학습 가능한 분류기로 전달된다.
다층 융합 (Multi-Layer Fusion): 여러 중간 레이어의 특징들을 결합하여 글로벌 분류기(또는 추론을 위한 logit-sum 방식)로 처리한다. 이는 서로 다른 레이어로부터 비중복적인 가설을 집계하며, 레이어 간 그래디언트 흐름의 부재 문제를 해결한다.

저자들은 VGG8 및 VGG11 백본을 사용하여 9개의 실제 세계 벤치마크(CIFAR-10/100, Tiny ImageNet, ImageNet-100 및 MedMNIST 변형)에 대해 DTG-FF를 평가한다. 결정적으로, 공정한 비교를 위해 동일한 레시피, 백본 및 하이퍼파라미터를 사용하여 훈련된 아키텍처 매칭 BP 컨트롤(특히 BP-DeepSup)을 사용한다.

주요 결과

실제 데이터 스케일링 상한선 (Real-Data Scaling Ceiling): FF 계열의 새로운 SOTA(CIFAR-10에서 91.79%, CIFAR-100에서 67.28%, 그리고 224×224 해상도 ImageNet-100에서 최초의 FF 베이스라인인 49.4%)를 설정했음에도 불구하고, DTG-FF는 일관되게 아키텍처 매칭 BP-DeepSup에 뒤처진다.
- CIFAR-10 ( $K=10$ )의 경우, 격차는 **2.40 퍼센트 포인트(pp)**이다.
- CIFAR-100 ( $K=100$ )의 경우, 격차는 5.93 pp로 벌어진다.
- ImageNet-100 (224×224)에서 DTG-FF는 49.4%에 도달하는 반면, 일반적인 BP 베이스라인은 75%를 상회한다. 이는 32×32 해상도에서는 보이지 않았던 "실제 데이터 상한선"을 드러낸다.
합성 vs 실제 $K$ -갈등 (Synthetic vs. Real $K$ -Conflict): 합성 교사-학생(teacher-student) 작업에서 DTG-FF가 BP 대비 갖는 이점은 클래스 수 $K$ 가 증가함에 따라 증가한다 (최대 $K=50$ 에서 +2.00 pp). 반대로, 실제 이미지(CIFAR-10/100)에서는 $K$ 가 증가함에 따라 격차가 역전되고 넓어진다. CIFAR-100(조밀한 $K=20$ vs. 미세한 $K=100$ )에 대한 데이터셋 내부 조사는 합성 데이터의 이점이 출력 차원(output dimensionality)에서 기인하는 반면, 실제 데이터의 성능은 미세한 구별 난이도에 의해 저해된다는 것을 확인시켜 준다.
시스템 감사 (Systems Audit): 본 논문은 메모리 효율성 정당성에 대해 이의를 제기한다. 일반적인 8 GB 하드웨어(RTX 4060 Laptop)에서, 파이프라인화된 DTG-FF 구현(피크 메모리 7.90 GB, 138 imgs/s)은 동일한 유효 배치 사이즈에서 그래디언트 누적(gradient accumulation)을 사용하는 표준 BP(피크 메모리 4.18 GB, 157 imgs/s)에 의해 성능이 뒤처진다. FF가 이론적인 $O(1)$ 활성화 메모리 경계를 달성하더라도, 현재의 범용 하드웨어 환경에서는 메모리 최적화된 BP에 비해 실질적인 시스템적 이점으로 이어지지 않는다.

주요 기여

DTG-FF 도구: 9개 벤치마크에서 SOTA를 기록하며 레이어 로컬 학습의 한계를 감사하기 위한 신뢰할 수 있는 "바닥(floor)"을 제공하는 견고한 FF 계열 아키텍처.
스케일링 진단: 실제 데이터에서 $K$ 가 증가함에 따라 FF-BP 격차가 벌어진다는 실증적 증거를 제시하며, 이는 합성 환경에서 관찰된 경향과 상충된다.
합성-실제 불일치: 합성 $K$ -스윕(sweep)이 출력 차원과 미세한 구별 난이도를 혼동하여, FF의 실제 데이터 전이 가능성을 과대평가하게 만든다는 점을 입증.
시스템 감사: 파이프라인화된 FF의 구조적 메모리 이점이 현재의 범용 하드웨어에서 그래디언트 누적을 사용하는 표준 BP에 대해 처리량이나 메모리 이점을 제공하지 못한다는 공정한 베이스라인 비교.

의의 및 주장
본 논문은 특히 합성 작업이나 소규모 32×32 데이터셋에 의존하는 현재의 FF 벤치마크가 레이어 로컬 학습의 생존 가능성을 과장하고 있다고 주장한다. 저자들은 확립된 FF의 개선 사항들(label overlay, spatial goodness, multi-layer fusion)을 BP가 본래 제공하는 감독된 교차 레이어 신호(supervised cross-layer signal)의 부분적인 대체물로 해석하는 "BP-그림자 렌즈(BP-shadow lens)"를 제안한다. DTG-FF와 BP 사이의 잔여 격차는 현재 어떤 대체물도 역전파가 본질적으로 제공하는 조정 및 감독 능력을 완전히 회복할 수 없음을 시사한다.

저자들은 DTG-FF가 FF 계열의 최첨단 기술을 나타내기는 하지만, 엄격한 레이어 로컬 학습은 현재 실제 데이터 성능 상한선에 직면해 있으며 표준 하드웨어에서 메모리 최적화된 BP에 대한 시스템적 이점을 제공하지 못한다고 결론짓는다. 이 연구는 FF의 우월성을 주장하기보다는 엄격한 감사를 수행하며, 레이어 로컬 방법론이 어떻게 복잡하고 고해상도인 실제 세계의 작업으로 확장될 수 있는지에 대한 추가 연구의 필요성을 강조한다.