🤖 machine learning

Neural Additive and Basis Models with Feature Selection and Interactions

본 논문은 고차원 설정에서의 계산 병목 현상을 극복하기 위해 학습 가능한 특징 선택 레이어를 신경 가법 및 기저 모델(Neural Additive and Basis Models)에 통합하는 방안을 제안하며, 이를 통해 해석력과 경쟁력 있는 성능을 유지하면서도 특징 간의 상호작용을 효율적으로 모델링할 수 있게 한다.

원저자: Yasutoshi Kishimoto, Kota Yamanishi, Takuya Matsuda, Shinichi Shirakawa

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yasutoshi Kishimoto, Kota Yamanishi, Takuya Matsuda, Shinichi Shirakawa

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 환자가 회복할지, 혹은 대출이 승인될지처럼 복잡한 사건의 결과를 예측하려고 한다고 상상해 보십시오. 당신에게는 결정을 내리는 데 도움이 될 수 있는 방대한 양의 단서(특징) 목록이 있습니다.

문제점: "블랙박스" vs "너무 무거운" 박스
인공지능의 세계에는 이 퍼즐을 해결하는 두 가지 주요 방법이 있습니다:

블랙박스 (심층 신경망): 이들은 믿기지 않을 정도로 똑똑하고 정확하지만, 마치 마술처럼 작동합니다. 데이터를 넣으면 답이 나오지만, 기계가 어떻게 그런 결정을 내렸는지 아무도 알 수 없습니다. 의료나 법률 같은 분야에서 이는 위험합니다. 왜냐하면 결정의 근거를 신뢰할 수 있어야 하기 때문입니다.
투명한 박스 (일반화 가법 모델): 이들은 전문가 팀과 같습니다. 각 전문가는 단 하나의 단서(예: "연령" 또는 "소득")만을 살펴보고 점수를 매깁니다. 최종 답변은 이 점수들의 총합입니다. 각 단서가 어떻게 기여했는지 정확히 볼 수 있기 때문에 이해하기 쉽습니다. 하지만 전통적인 투명한 박스들은 단서들 사이의 복잡한 관계를 처리할 만큼 똑똑하지 못한 경우가 많습니다.

기존의 해결책: NAM과 NBM
연구자들은 "투명한 박스"를 업그레이드했습니다. "신경 가법 모델(NAM)"과 "신경 기저 모델(NBM)"입니다. 단순한 전문가 대신, 이들은 각 단서를 살펴보는 작고 똑똑한 AI 뇌(신경망)를 사용합니다. 이를 통해 각 단서가 결과에 어떻게 영향을 미치는지 여전히 확인할 수 있으면서도 더 똑똑하게 만들었습니다. 즉, 똑똑하면서도 투명합니다.

병목 현상: "너무 많은 단서"의 위기
여기서 기존 방식이 무너지는 지점이 발생합니다.

상호작용 문제: 때때로 단서들은 함께 작동할 때 더 효과적입니다. 예를 들어, "연령"과 "소득"은 따로 볼 때보다 함께 볼 때 무언가를 더 잘 예측할 수 있습니다. 이를 위해 기존 모델들은 가능한 모든 단서의 '쌍(pair)'마다 작은 AI 뇌를 만들려고 시도했습니다.
수학적 악몽: 만약 단서가 1,000개라면, 가능한 쌍은 거의 500,000개에 달합니다. 500,000개의 작은 AI 뇌를 동시에 훈련시키는 것은 마치 좁은 사무실에 500,000명의 직원을 고용하려는 것과 같습니다. 이는 컴퓨터를 다운시키고, 시간이 너무 오래 걸리며, 관리가 불가능해집니다.
고차원의 벽: 데이터셋이 거대해질 때(수천 개의 단서), 기존 모델들은 단순히 작동을 멈춰버립니다. 메모리와 시간이 바닥나기 때문입니다.

새로운 해결책: "스마트 셀렉터(Smart Selector)"
이 논문의 저자들은 간단하지만 강력한 해결책인 **특징 선택(Feature Selection)**을 제안합니다.

당신이 방대한 증거 게시판을 가진 탐정이라고 상상해 보십시오. 모든 증거를 한꺼번에 분석하는 대신(이는 불가능합니다), 당신은 스마트 셀렉터를 고용합니다.

작동 방식: 모델은 모든 가능한 단서의 "메뉴"를 가지고 시작합니다. 훈련 과정 중에 모델은 각 단서에 "가중치"를 부여하는 법을 배웁니다.
필터: 모델은 체 역할을 하는 특별한 수학적 필터(entmax)를 사용합니다. 이 필터는 가장 중요한 단서들을 남기고 쓸모없는 것들은 효과적으로 "꺼버립니다."
결과: 모든 단서의 쌍에 대해 500,000개의 AI 뇌를 만드는 대신, 모델은 가장 중요한 50개 또는 500개의 단서와 그 쌍에 대해서만 뇌를 구축합니다.

이점

속도: 모델이 불필요한 데이터를 무시하기 때문에 훨씬 빠르게 실행됩니다. 논문은 기존 모델들이 1,000개 이상의 단서가 있는 데이터셋에서 충돌하는 반면, 새로운 모델들은 이를 매끄럽게 처리함을 보여줍니다.
상호작용: 이를 통해 모델은 ("연령 + 소득"처럼) 단서들이 함께 작동하는 것을 수학적 과부하 없이 살펴볼 수 있습니다.
투명성: 어떤 단서들을 선택했는지에도 불구하고 투명성을 유지합니다. 어떤 단서가 선택되었고 그것들이 어떻게 결정에 영향을 미쳤는지 여전히 볼 수 있습니다.

결과
저자들은 수천 개의 단서가 포함된 6개의 서로 다른 실제 데이터셋을 통해 이를 테스트했습니다.

성능: 새로운 모델들은 기존의 가장 뛰어난 "투명한" 모델들과 대등하거나 오히려 더 높은 정확도를 보였습니다.
효율성: 새로운 모델은 기존 모델이 손도 댈 수 없었던 크기의 데이터를 처리할 수 있을 만큼 훨씬 빠르고 효율적이었습니다.
비교: 또한, 훈련 시작 전에 수동으로 단서를 고르는 것보다 모델이 직접 어떤 단서를 고를지 학습하게 하는 것이 더 낫다는 것을 입증했습니다.

요약
이 논문은 방대한 양의 데이터를 처리할 수 있는 똑똑하고 투명한 AI 모델을 만드는 방법을 소개합니다. 이는 AI가 노이즈를 무시하고 가장 중요한 단서와 그 관계에만 집중하도록 가르침으로써, 너무 멍청해서 쓸모없거나 너무 무거워서 실행할 수 없는 모델의 문제를 해결합니다.

문제점
심층 신경망(DNN)은 높은 표현 능력을 제공하지만, 종종 해석 가능성이 부족하여 의학이나 법률과 같이 신뢰도가 중요한 분야에서의 사용을 제한합니다. 일반화 가법 모델(GAM)과 그 신경망 변형인 신경 가법 모델(NAM) 및 신경 기저 모델(NBM)은 해석 가능성과 성능 사이의 균형을 제공하지만, 심각한 확장성 문제를 겪고 있습니다. 표준 NAM 및 NBM 아키텍처는 모든 입력 특성에 대해 별도의 신경망(NN)을 할당합니다. 이를 이변량 특성 상호작용(GA2M)을 포착하도록 확장할 경우, 가능한 모든 특성 쌍에 대한 형상 함수(shape functions)를 준비해야 합니다. 이는 $O(D^2)$ 의 계산 복잡도를 초ing하며, 결과적으로 $D$ 가 1,000을 초과하는 고차원 데이터셋에서 과도한 메모리 소비와 계산 비용으로 인해 학습이 불가능해집니다. 또한, 수천 개의 형상 함수를 관리하고 시각화하는 것은 GAM이 제공하고자 하는 해석 가능성을 저해합니다.

방법론
저자들은 이러한 병목 현상을 해결하기 위해 NAM 및 NBM의 학습 과정에 미분 가능한 특성 선택 메커니즘을 직접 통합하는 방안을 제안합니다. 제안된 모델인 NAM-FS 및 NBM-FS는 학습 과정 중에 정해진 수의 단일 특성( $K_1$ )과 특성 쌍( $K_2$ )을 동적으로 선택하는 특성 선택 레이어를 도입합니다.

주요 기술적 구성 요소는 다음과 같습니다:

미분 가능한 선택: 비미분적인 이산적 특성 선택 대신, 저자들은 선택 과정을 완화하기 위해 entmax(softmax와 sparsemax의 일반화 버전)를 활용합니다. 이를 통해 모델이 엔드투엔드 방식으로 확률적 경사 하강법(SGD)을 통해 특성 선택 가중치를 최优化할 수 있게 합니다.
온도 어닐링(Temperature Annealing): 학습 중에 조정되는 온도 파라미터 $\tau$ 가 도입됩니다. $\tau$ 가 감소함에 따라 entmax 출력은 원-핫 벡터(one-hot vector)에 가까워지며, 결과적으로 형상 함수를 위한 선택된 특성들을 고정시킵니다.
아키텍처: 모델은 전체 $D$ (또는 $D(D-1)/2$ ) 개의 형상 함수를 고정된 작은 수의 $K_1$ 단변량 및 $K_2$ 이변량 NN으로 대체합니다. 이 NN들의 입력은 학습된 선택 가중치에 의해 결정된 원래 특성들의 가중 결합입니다.
구현 최적화: 저자들은 이전의 1-D 컨볼루션 구현 대비 2~6배의 속도 향상을 달gt하며 PyTorch의 torch.bmm(batch matrix-matrix product)을 사용하여 NAM 레이어의 구현을 최적화했습니다.

핵심 기여

특성 선택 통합: 본 논문은 NAM 및 NBM을 위한 단순하고 엔드투엔드 방식의 특성 선택 메커니즘을 도입하여, 기존 버전이 실패했던 고차원 데이터셋에 대한 적용을 가능하게 합니다.
상호작용을 통한 확장성: 관리 가능한 수준의 상호작용 항인 $K_2$ 로 제한함으로써, 고차원 환경에서도 효율적으로 이변량 특성 상호작용(GA2M 스타일)을 포함할 수 있습니다.
계산 효율성: 제안된 모델은 학습 가능한 파라미터와 곱셈-누산 연산(MACs)의 수를 크게 줄여, 기존의 vanilla NAM, NBM 및 그 상호작용 기반 변형들(NA2M, NB2M)보다 높은 처리량을 달성합니다.
성능 검증: 저자들은 NAM-FS와 NBM-FS가 고차원 분류 작업에서 최신 SOTA GAM 및 GA2M과 대등하거나 더 나은 성능을 보임을 입증하였으며, 사전 선택된 특성에 의존하는 vanilla NAM/NBM보다 우수한 성능을 보였습니다.

결과
실험은 561개에서 5,000개의 특성을 가진 6개의 고차원 분류 데이터셋을 대상으로 수행되었습니다.

처리량(Throughput): Vanilla NA2M 및 NB2M은 메모리 제약으로 인해 100개 이상의 특성을 가진 데이터셋을 실행할 수 없었습니다. 반면, NAM-FS 및 NBM-FS는 최대 50,000개의 특성에서도 안정적인 처리량을 유지했습니다.
정확도: 고차원 데이터셋(예: 4,296개의 특성을 가진 guillermo 및 5,000개의 특성을 가진 Gisette)에서 NAM-FS(500) 및 NBM-FS(500)는 테스트된 모든 GAM 중 가장 높은 정확도를 기록했습니다.
상호작용: 이변량 상호작용을 포함하는 모델(NA2M-FS 및 NB2M-FS, $K_2=500$ )은 여러 데이터셋에서 최신 GA2M(EB2M 및 NODE-GA2M)보다 우수한 성능을 보였습니다.
특성 선택 효능: 상호 정보량(mutual information)을 통해 사전 선택된 특성들로 학습된 NAM/NBM과 비교했을 때, 제안된 엔드투엔드 특성 선택 방법들이 일반적으로 더 높은 정확도를 나타냈으며, 이는 모델 파라미터와 특성 선택을 공동으로 학습하는 것이 효과적임을 입증합니다.

의의 및 주장
본 논문은 특성 선택을 학습 루프에 통합함으로써, NAM과 NBM이 핵심 장점인 해석 가능성을 희생하지 않고도 고차원 데이터셋으로 확장될 수 있다고 주장합니다. 저자들은 이 방법이 단순하면서도 효과적이며, 복잡한 상호작용을 포착하는 동시에 관리 가능한 수의 형상 함수를 시각화할 수 있게 해준다는 점을 강조합니다. 또한, 이 모델들이 고차원 데이터에는 매우 효과적이지만, 저차원(100개 미만의 특성) 환경에서는 그 이점이 줄어든다는 점을 언급합니다. 이 연구는 복잡하고 고차원적인 도메인에서 높은 예측 정확도와 전역적 해석 가능성을 모두 요구하는 애플리케이션을 위한 실질적인 솔루션으로서 이 모델들을 위치시킵니다.

유사한 논문