🤖 machine learning

K-Inverse-RFM: A Modified RFM that Bridges the Gap to Neural Networks for Data-Corrupted Mathematical Tasks

이 논문은 데이터가 오염된 수학적 과업에서의 성능 한계를 극복하기 위해 새로운 레이블 변환을 사용하는 수정된 재귀적 특징 기계인 K-Inverse-RFM을 소개하며, 이를 통해 피드포워드 신경망과 대등하거나 심지어 이를 능가할 수 있게 한다.

원저자: Gil Pasternak

게시일 2026-07-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gil Pasternak

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 수학을 배우는 두 가지 방법

당신이 컴퓨터에게 수학 문제, 구체적으로는 모듈로 연산(14시가 2시가 되는 것처럼 숫자가 순환하는 시계와 같은 방식)을 푸는 법을 가르치려 한다고 상상해 보세요.

이 이야기에는 두 명의 주요 '학생'이 등장합니다:

신경망 (직관적인 예술가): 이것은 모두가 이야기하는 현대적이고 강력한 AI입니다. 수백만 개의 미세한 내부 조절 장치를 조정하며 학습합니다. 데이터가 지저도, 노이즈가 있거나, 불균형하더라도 패턴을 찾아내는 데 탁월합니다.
RFM (규칙 준수자): 이것은 *재귀적 특징 기계(Recursive Feature Machine)*라고 불리는 새롭고 더 단순한 모델입니다. 신경망을 모방하려고 노력하지만, 더 수학적인 접근 방식을 사용합니다. 이는 데이터의 "평균 기울기"를 살펴보고 무엇이 중요한지 파악하려고 노력하는 학생과 같습니다.

문제점: 완벽하고 깨끗한 수학 문제에서는 두 학생 모두 A+를 받습니다. 하지만 현실 세계의 지저도—즉, 노이즈(교과서의 오답), 불균형(한 유형의 예시는 너무 많고 다른 유형은 너무 적음), 또는 특이한 인코딩(숫자를 비밀 코드로 작성함)—이 도입되는 즉시, 규칙 준수자(RFM)는 처참하게 무너지기 시작합니다. 반면 직관적인 예술가(신경망)는 여전히 우수한 성능을 유지합니다.

이 논문의 저자는 질문했습니다: 왜 규칙 준수자는 지저분한 데이터 앞에서 고전하는가? 그리고 복잡한 신경망으로 변하지 않고도 이를 해결할 수 있는 방법은 없는가?

조사: 왜 규칙 준수자는 실패했는가?

저자는 RFM이 어디에서 무너지는지 확인하기 위해 세 가지 주요 실험을 수행했습니다.

1. "노이즈가 섞인 교과서" 테스트 (레이블 노이즈)

시나리오: 정답의 30%가 무작위로 틀린 교과서가 있다고 가정합니다.
결과: 신경망은 틀린 답들을 무시하고 올바른 패턴을 학습했습니다. 반면 RFM은 노이즈 때문에 혼란에 빠졌고 성능이 급락했습니다.
발견: 저자는 RFM이 단순히 답을 예측하지 못해서 실패한 것이 아니라, 데이터가 노이즈가 섞였을 때 *올바른 특징(데이터를 바라보는 올바른 방식)*을 학습하지 못했기 때문에 실패했다는 것을 발견했습니다. 이는 마치 대수학을 배우려는 학생이 페이지 위의 낙서 때문에 집중력을 잃는 것과 같습니다.

2. "불균형한 클래스" 테스트 (불균형 데이터)

시나리오: 데이터셋에 "사과"의 예시는 90%인데 "오렌지"의 예시는 10%뿐이라고 가정합니다.
결과: 신경망은 둘 다 인식하는 법을 배웠습니다. 하지만 RFM은 "사과"에 집착하여 "오렌지"를 처리하는 법을 완전히 잊어버렸습니다. 즉, 다수 그룹에 과적합(overfitting)되었습니다.
발견: RFM은 한 그룹에서 배운 것을 다른 그룹으로 공유하는 데 어려움을 겪었습니다. 모델은 각 클래스를 별개의 섬처럼 취급했습니다.

3. "비밀 코드" 테스트 (복잡한 표현)

시나리오: 숫자 "5"를 그대로 주는 대신, "5 mod 3, 5 mod 5, 5 mod 7"과 같은 코드를 줍니다. 이는 숫자를 저장하는 더 효율적인 방식(중국인의 나머지 정리)이지만, 해독하기는 더 어렵습니다.
결과: 신경망은 결국 이 코드를 파악했습니다. 하지만 RFM은 이 메시지를 해독하고 문제를 푸는 데 애를 먹었습니다.
발견: RFM은 이 복잡한 코드를 유용한 특징으로 스스로 번역해내는 데 실패했습니다.

해결책: "K-Inverse-RFM"

저자는 RFM의 주요 약점이 레이블(정답)을 다루는 방식과 특징을 학습하는 방식에 있다는 것을 깨달았습니다. 기존의 RFM은 너무 경직되어 있었습니다.

이를 해결하기 위해 저자는 K-Inverse-RFM이라는 새로운 버전을 만들었습니다. 작동 방식에 대한 비유는 다음과 같습니다:

기존 방식 (표준 RFM): 학생이 교과서를 페이지별로 암기하려고 노력하는 것과 같습니다. 만약 페이지가 찢어져 있거나 오타가 있다면, 학생은 막히게 됩니다. 모든 질문을 완전히 별개의 것으로 취급합니다.
새로운 방식 (K-Inverse-RFM): 저자는 학생에게 새로운 전략을 주었습니다: "정답을 보고 질문을 파악하라."
- 단순히 입력(질문)을 보고 출력(답)을 추측하는 대신, K-Inverse-RFM은 정답을 특징 위로 역으로 투영합니다. 즉, "내가 이 답을 얻으려면 어떤 특징들의 조합이 필요한가?"라고 묻는 것입니다.
- 또한, 학습 과정을 매끄럽게 만들기 위해 "이동 평균"을 사용하여, 하나의 잘못된 예시가 전체 수업을 망치지 않도록 합니다.
- 결정적으로, 이 모델은 서로 다른 클래스(예: 사과와 오렌지) 간에 정보를 더 효과적으로 공유할 수 있게 해줍니다.

결과: 효과가 있었는가?

네, 어떤 경우에는 신경망보다 더 나은 성과를 보이기도 했습니다.

노이즈가 있는 데이터: K-Inverse-RFM은 기존 RFM과 신경망 사이의 격차를 약 64% 메웠습니다. 오답에 대해 훨씬 더 강한 내성을 갖게 되었습니다.
불균형한 데이터: 다수 그룹에 집착하는 현상이 사라졌습니다. 기존 RFM보다 희귀한 예시들을 훨씬 더 잘 처리하는 법을 배웠습니다.
비밀 코드 (CRT): 이것이 놀라운 승리였습니다. 데이터가 복잡한 "중국인의 나머지 정리" 스타일로 인코딩된 작업에서, K-Inverse-RFM은 실제로 신경망을 앞질렀습니다. 모델이 특징을 매우 잘 학습하여 문제를 더 빠르고 정확하게 해결했습니다.

"비법 소스" 발견

이 논문에서 가장 흥-미로운 부수적 발견 중 하나는 신경망의 첫 번째 학습 층(layer)이 실제로 가장 중요하다는 점입니다.

저자는 신경망의 첫 번째 층에서 학습된 특징들을 가져와 단순한 커널(수학적 도구)에 입력했습니다. 그 결과, 이 단순한 도구가 전체의 복잡한 신경망보다 더 나은 성능을 보였습니다.

비유: 이는 천재적인 학생이 수업 시작 10분 만에 작성한 "초안" 노트를 가져왔더니, 그 노트가 학생이 3시간 동안 고민하며 쓴 최종 에세이보다 더 훌륭했다는 사실을 깨달은 것과 같습니다.

요약

이 논문은 "규칙 준수자(RFM)"가 실패한 이유가 머리가 나빠서가 아니라, 데이터가 지저분해질 때 너무 경직되었기 때문임을 보여줍니다. 정답을 특징으로 다시 매핑하는 방식(K-Inverse 방식)을 수정함으로써, 저자는 다음과 같은 모델을 만들어냈습니다:

지저분한 데이터(노이즈 및 불균형)에 더 똑똑함
더 효율적임 (학습하는 데 필요한 고유한 예시가 더 적음)
때로는 복잡한 데이터 인코딩을 다룰 때 신경망보다 더 강력함

결론적으로, K-Inverse-RFM이 아직 완벽하지는 않지만, 그 격차를 크게 줄였으며, 어려운 수학 문제를 풀기 위해 항상 거대하고 복잡한 신경망이 필요한 것은 아니라는 점을 증명했습니다. 때로는 더 똑똑하고 단순한 접근 방식이 가장 잘 작동할 수 있습니다.

기술 요약: K-Inverse-RFM

문제 정의

재귀적 특징 기계(Recursive Feature Machines, RFMs)는 특징 학습을 위해 평균 그래디언트 외적 곱(Average Gradient Outer Product, AGOP)을 활용하는 커널 기반 모델의 한 종류로, 이론적으로 고전적 커널 방법과 피드포워드 신경망(FNN) 사이의 간극을 메우는 역할을 합니다. RFM은 깨끗한 정형 데이터 및 특정 수학적 작업(예: 모듈로 산술)에서 신경망의 역동성을 재현하고 최첨단 성능을 달성할 수 있음을 입증했으나, 본 논문은 데이터가 오염되었을 때 RFM과 FNN 사이에 상당한 성능 격차가 발생함을 식별했습니다.

구체적으로, 저자는 RFM이 다음 세 가지 시나리오에서 FNN에 비해 크게 저하되는 현상을 관찰했습니다:

레이블 노이즈(Label Noise): FNN은 높은 정확도를 유지하는 반면, RFM은 훈련 레이블 노이즈가 증가함에 따라 강건하게 확장되지 못합니다.
불균형 데이터(Imbalanced Data): 입력 또는 출력 분포가 왜곡된 경우(예: 리샘플링 또는 특정 데이터 하위 집합의 체계적 제외를 통해), RFM은 과적합을 겪는 반면 FNN은 상대적으로 안정적입니다.
복잡한 표현(Complex Representations): 입력이 중국인의 나머지 정리(CRT)와 같은 복잡한 스킴으로 인코딩될 때, RFM은 그 구조를 해독하는 데 어려움을 겪으며 종종 FNN보다 낮은 성능을 보입니다.

핵심 가설은 FNN이 이러한 노이즈가 있거나 복잡한 영역에서 우수한 특징 학습 능력을 갖추고 있는 반면, 표준 RFM은 필요한 특징 구조(특히 모듈로 산술에 필요한 블록 순환 특징)를 학습하는 데 실패한다는 것입니다.

방법론: K-Inverse-RFM

이러한 한계를 해결하기 위해, 저자는 표준 RFM 프레임워크를 수정한 K-Inverse-RFM을 제안합니다. 이 방법은 예측기 훈련과 AGOP 기반 특징 학습을 번갈아 수행하는 표준 RFM 훈련 루프에 세 가지 주요 알고리록적 변경 사항을 도입합니다:

레이블 투영 (K-Inverse): 표준 커널 리지 회귀 방정식을 푸는 대신, 레이블을 커널화된 특징 공간에 투영하는 수정된 방정식을 풉니다. 구체적으로, 가중치 벡터 $\alpha$ 는 다음과 같이 계산됩니다:
$\alpha (K(X, X; M_t) + \lambda I) = K(X, X; M_t) d y$
여기서 $d$ 는 거듭제곱 파라미터(일반적으로 $-1$로 설정되어 "K-Inverse"라 불림)입니다. 이 공식은 레이블을 커널화된 특징의 공간으로 매핑하며, 이는 출력을 데이터 포인트들의 조합으로 표현하도록 유도합니다. 이는 다중 클래스 구조의 공유를 촉진하고, 한 클래스에서 학습된 특징이 다른 클래스에도 정보를 제공할 수 있게 하여 클래스 불균형 및 노이즈 문제를 완화합니다.
이동 평균 AGOP (Moving Average AGOP): AGOP 행렬(특히 고차원 특징 공간에서)의 불안정성과 급격한 그래디언트 변화를 해결하기 위해, 특징 학습 단계( $M_{t+1}$ )를 $k$ 단계 동안의 AGOP 행렬에 대한 이동 평균으로 재구성합니다. 이 평균은 훈련 손실의 역수( $1/l_i$ )에 의해 가중치가 부여되어, 부적절한 업데이트의 영향을 줄입니다.
리지 규제 (Ridge Regularization): 커널 회귀는 업데이트 크기를 제한하고 훈련 안정성을 보장하기 위해 높은 리지 항( $\lambda$ )을 가진 커널화된 리지 회귀로 재구성됩니다.

거듭제곱 파라미터 $d$ 는 하이퍼파라미터로 취급됩니다. $d=-1$ 이 표준적인 경우에 사용되지만, 저자는 밀집된 특징 공간(예: CRT 인코딩)의 경우 더 작거나 양수인 거듭제곱(예: $d=0.4$ 또는 $0.6$)이 성능과 안정성을 개선할 수 있다고 언급합니다.

주요 기여

RFM의 한계에 대한 실증적 조사: 본 논문은 레이블 노이즈, 데이터 불균형, 복잡한 입력 표현을 성능 격차의 주요 원인으로 분리하여 RFM이 FNN과 갈라지는 지점에 대한 종합적인 분석을 제공합니다.
특징 학습 진단: FNN의 첫 번째 층 특징으로 학습된 라플라스 커널을 사용한 실험을 통해, 저자는 노이즈 및 불균형 환경에서의 성능 격차가 예측 헤드(커널 회귀)보다는 RFM의 견고한 특징 학습 능력(AGOP 메커니즘) 부족에서 기인함을 입증합니다.
K-Inverse-RFM 알고리즘: 레이블 투영과 안정화된 특징 평균을 포함하는 수정된 RFM을 도입했습니다. 이 방법은 데이터가 오염된 시나리오에서 RFM과 FNN 사이의 성능 격차를 성공적으로 메웁니다.
샘플 효율성 분석: 본 연구는 RFM의 성능이 총 샘플 수가 아닌 고유한(unique) 훈련 포인트의 수와 거의 선형적으로 스케일링됨을 밝혀냈습니다. K-Inverse-RFM은 클래스 간 정보 공유 능력을 통해 고유 샘플당 더 높은 성능 향상을 달상함으로써 우수한 샘플 효율성을 보여줍니다.

결과

K-Inverse-RFM은 다양한 데이터 조건 하에서 모듈로 덧셈, 곱셈, 뺄셈, 나눗셈 및 GCD 작업에 대해 표준 RFM 및 FNN과 비교 평가되었습니다:

레이블 노이즈: K-Inverse-RFM은 표준 RFM과 FNN 사이의 성능 격분을 평균 **64%**까지 메웁니다. 이는 표준 RFM보다 성능이 월등히 높으며(최대 39.3% 높은 테스트 정확도), 14%의 레이블 노이즈까지 FNN과 유사한 수준을 유지합니다.
불균형 데이터: 입력 가중치가 왜곡된 시나리오(예: 3의 배수 쌍)에서 K-Inverse-RFM은 표준 RFM 대비 테스트 정확도가 53% 향상되었습니다. 결과는 K-Inverse-RFM이 데이터 분포 불균형에 덜 민감하며, 고유 샘플의 절대적인 수에 더 의존함을 나타냅니다.
체계적 제외: K-Inverse-RFM은 테스트된 모든 제외 유형(예: 피연산자 $>50$ 또는 $<10$ 제외)에서 표준 RFM을 능가합니다.
복잡한 표현 (CRT): 중국인의 나머지 정리(CRT) 인코딩을 사용하는 작업에서, K-Inverse-RFM은 FNN과의 격차를 좁힐 뿐만 아니라, 6개 중 5개의 인코딩-작업 쌍에서 표준 RFM과 신경망을 모두 능가했습니다. 이는 적절한 특징 학습 메커니즘이 있다면 커널 기반 모델이 특정 구조적 작업에서 딥러닝 네트워크보다 뛰어난 성능을 낼 수 있음을 시사합니다.

의의 및 주장

본 논문은 K-Inverse-RFM이 커널 방법의 효율성과 신경망의 강건함을 결합하는 중요한 단계라고 주장합니다. 커널 기반의 다중 클래스 특징 학습을 개선하고 AGOP 업데이트를 안정화함으로써, 이 모델은 다음을 달성합니다:

강건성: 표준 RFM이 실패하는 노이즈가 있고, 불균형하며, 복잡하게 표현된 데이터에서도 안정적으로 작동합니다.
효율성: 딥 FNN의 GPU 집약적 훈련과 달리, CPU에서도 훈련이 가능한 RFM의 계산 효율성을 유지합니다.
특정 영역에서의 우월성: 구조화된 작업(특히 CRT 인코딩된 모듈로 산술)에서 K-Inverse-RFM은 딥 신경망보다 뛰어난 성능을 보일 수 있으며, 이는 커널 방법과 신경망 사이의 "격차"가 내재적인 것이 아니라 오히려 전자의 부적절한 특징 학습 메커니즘의 결과임을 시사합니다.

저자는 K-Inverse-RFM이 격차를 상당히 좁혔지만, 모든 시나리오에서 완전히 제거하지는 못했다는 점을 인정하며 겸허히 결론을 맺습니다. 향후 연구로는 이러한 발견을 비수학적 도메인(NLP, 컴퓨터 비전)으로 확장하고, 현재 연구가 피드포워드 신경망에 국한되어 있다는 점을 고려하여 트랜스포머(Transformer)의 동작을 조사할 것을 제안합니다.