💻 computer science

Compound and Parallel Modes of Tropical Convolutional Neural Networks

본 논문은 min-plus 및 max-plus 연산을 결합하여 곱셈 집약적인 연산을 대폭 줄이는 동시에, 광범한 실험과 오픈 소스 PyTorch 구현을 통해 입증된 바와 같이 표준 CNN과 비교하여 경쟁력 있는 정확도를 유지하는 복합 및 병렬 열대 합성곱 신경망(cTCNN 및 pTCNN)을 소개한다.

원저자: Mingbo Li, Liying Liu, Charles Wiranto, Ye Luo

게시일 2026-08-05

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Mingbo Li, Liying Liu, Charles Wiranto, Ye Luo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 세상을 보는 법을 가르치려 한다고 상상해 보세요. 이를 위해 우리는 보통 '합성곱 신경망(Convolutional Neural Networks, CNN)'이라는 뇌를 제공합니다. 이 네트워크를 작고 매우 빠른 요리사 팀이라고 생각해보세요. 그들의 임무는 사진을 보고, 그것을 작은 조각으로 자른 뒤, 그것들이 무엇인지 알아내기 위해 섞는 것입니다. 그들의 레시피에 담긴 비밀 소스는 무엇일까요? 바로 엄청난 양의 곱셈을 사용하는 것입니다. 그들은 사진에서 숫자를 가져와 자신의 레시피 북에 있는 숫자와 곱한 뒤 모두 더합니다. 이는 마치 순식간에 수천 개의 수학 문제를 푸는 것과 같습니다.

문제는 곱셈은 비용이 많이 든다는 점입니다. 곱셈을 수행하려면 많은 에너지와 강력하고 뜨거운 컴퓨터(데이터 센터에 있는 것과 같은)가 필요합니다. 만약 이 로봇의 뇌를 스마트워치나 배터리가 적은 휴대폰 같은 아주 작은 장치에 넣고 싶다면, 곱셈 작업이 너무 무거워집니다. 배터리는 방전되고 휴대폰은 뜨거워집니다. 과학자들은 이 요리사들이 곱셈을 너무 많이 하지 않고도 일할 수 있는 방법을 찾기 위해 노력해 왔습니다. 그들은 숫자를 더하거나 그룹에서 가장 큰 숫자를 찾는 것과 같은 더 단순한 수학을 사용해 보기도 했지만, 수학을 너무 단순화하면 로봇이 혼란에 빠져 실수를 하기 시작합니다. 이는 마치 가스레인지 없이 오직 숟가락만 사용하여 고급 요리를 만들려는 것과 같습니다. 효율적이긴 하지만, 음식 맛이 제대로 나지 않는 것이죠.

이 논문은 두 가지 장점을 모두 잡을 수 있는 영리한 요리법을 소개합니다. 저자인 리밍보(Mingbo Li)와 샤먼 대학교 팀은 **복합 열대 합성곱(Compound Tropical Convolution)**과 **병렬 열대 합성곱(Parallel Tropical Convolution)**이라는 두 가지 새로운 "레시피"를 제안합니다. 표준적인 곱셈 중심의 방식이나 단순히 "가장 큰 숫자를 찾는" 방식만을 사용하는 대신, 그들은 이 둘을 결합합니다. 마치 어떤 재료가 들어있는 그릇에서 가장 뜨거운 재료와 가장 차가운 재료를 동시에 즉각적으로 찾아낸 다음, 특별한 비법으로 섞는 요리사를 상상해 보세요. 이를 통해 로봇은 배터리를 소모하는 무거운 곱셈 수학 없이도 세부 사항을 명확하게 볼 수 있습니다. 그들은 이를 테스트하기 위한 툴킷을 구축했고, 유명한 이미지 퍼즐들로 실험을 진행했으며, 이 새로운 방법들이 기존의 무거운 방식만큼 똑똑하면서도 에너지 소비는 훨씬 적다는 것을 발견했습니다.

새로운 "열대(Tropical)" 비법

여기 핵심 아이디어는 "열대 대수(Tropical Algebra)"라고 불리는 것에 기반합니다. 일반적인 수학 세계에서는 곱하고 더합니다. 하지만 이 "열대" 세계에서는 규칙이 바뀝니다. 곱셈은 덧셈이 되고, 덧셈은 최솟값 또는 최댓값을 찾는 것이 됩니다.

"뜨겁다와 차갑다" 게임처럼 생각해 보세요.

표준 CNN은 모든 숫자를 곱하는 계산기와 같습니다. 정밀하지만 느리고 에너지를 많이 소비합니다.
기존의 열대 CNN은 그룹 내에서 "가장 뜨거운(최대)" 또는 "가장 차가운(최소)" 숫자를 외치는 게임과 같습니다. 매우 빠르고 전력을 거의 쓰지 않지만, 때때로 미세한 디테일을 놓쳐 로봇을 서투르게 만듭니다.

저자들은 단지 "가장 뜨거운" 숫자나 "가장 차가운" 숫자 하나에만 의존하는 것은 충분하지 않다는 것을 깨달았습니다. 그래서 그들은 두 가지 새로운 기술을 발명했습니다:

복합 열대 합성곱 (cTCNN): 이것은 재료 그룹을 보고 "나는 가장 뜨거운 것을 취하겠지만, 동시에 가장 차가운 것에도 주의를 기울여서 특별한 레시피로 섞겠다"라고 말하는 요리사와 같습니다. 그들은 뜨거운 체크와 차가운 체크 모두에 동일한 "레시피 북(가중치)"을 사용하며, 그 결과를 혼합하여 더 풍부한 맛을 냅니다.
병렬 열대 합성곱 (pTCNN): 이것은 훨씬 더 유연합니다. 두 명의 요리사가 나란히 일한다고 상상해 보세요. 한 요리사는 가장 뜨거운 재료를 찾고 있고, 다른 요리사는 가장 차가운 재료를 찾고 있습니다. 그들은 각자 고유한 레시피 북을 가지고 있습니다. 마지막에 그들은 자신들의 발견을 결합합니다. 이것은 로봇이 무거운 곱셈 부담 없이도 세상을 볼 수 있는 더 많은 방법을 제공하여 로봇을 더 똑똑하게 만듭니다.

주방 테스트: 성공했는가?

팀은 단순히 꿈만 꾼 것이 아니라, 이를 테스트할 실제 주방(소프트웨어 프레임워크)을 구축했습니다. 그들은 AI를 구축하는 데 널리 쓰이는 도구인 PyTorch와 호환되는 툴킷을 만들었으며, 심지어 그래픽 카드(GPU)에서 빠르게 실행될 수 있도록 특수 코드를 작성했습니다. 그들은 다양한 작업에 대해 새로운 "복합" 및 "병렬" 요리사들을 테스트했습니다:

숫자 읽기: 그들은 MNIST(손글씨 숫자)와 Fashion-MNIST(옷 사진)에서 테스트했습니다. 새로운 방법들은 믿기 힘들 정도로 정확했으며, 종종 표준적인 헤비듀티 모델들과 일치하는 모습을 보였습니다. 예를 들어, Fashion-MNIST 테스트에서 그들의 최고 모델은 **91.11%**의 정확도를 기록했는데, 이는 표준 모델들과 매우 근접한 수치입니다.
더 어려운 사진들: 그들은 CIFAR-10(자동차, 동물, 비행기 등의 컬러 사진)과 SVHN(거리의 숫자)을 시도했습니다. 이것들은 더 어렵습니다. 표준 모델들은 다소 고전했지만, 새로운 열대 방식들은 잘 버텨냈습니다. CIFAR-10에서 그들의 최고 모델은 **66.82%**의 정확도에 도달했습니다. 완벽하지는 않지만, 이는 이전의 열대 방식들에 비해 엄청난 개선이며, 복잡한 이미지를 처리할 수 있음을 보여줍니다.
의료 스캔: 그들은 **Med빵(MedMNIST)**이라는 데이터셋을 사용하여 3D 의료 이미지(예: 뇌 스캔)에도 적용해 보았습니다. 여기서 새로운 방법들은 매우 효과적일 수 있음을 보여주었으며, 일부 모델은 심박수 데이터에서 98% 이상의 정확도에 도달했습니다.

트레이드오프: 속도 대 지능

이 논문은 이러한 새로운 방법들이 "유리한 트레이드오프(favorable trade-off)"를 제공한다고 제안합니다. 즉, "에너지 비용(곱셈)"을 지불하지 않고도 많은 "지능(정확도)"을 되찾을 수 있다는 뜻입니다.

좋은 소식: 새로운 모델들은 곱셈 횟수를 크게 줄였습니다. 어떤 경우에는 합성곱 부분의 곱셈 횟수를 0으로 줄이고, 이를 간단한 덧셈과 min/max 체크로 대체했습니다. 이는 배터리 수명에 매우 좋습니다.
현실적인 점: 저자들은 자신들의 수학이 효율적이긴 하지만, 현재의 컴퓨터 칩(GPU)은 곱셈을 수행하는 데 매우 빠르게 설계되어 있다는 점을 주의 깊게 언급합니다. 즉, "최대값이나 최소값을 찾는 것"을 빠르게 수행하도록 만들어지지 않았습니다. 따라서 현재로서는 새로운 방법들이 수학적으로는 가볍지만, 하드웨어가 아직 이 새로운 수학을 이해하는 "열대 모드"를 갖추지 못했기 때문에 물리적으로는 오늘날의 휴대폰이나 컴퓨터에서 더 빠르게 실행되지는 않을 수 있습니다. 그러나 저자들은 만약 하드웨어 제조사들이 이 새로운 수학을 이해하는 칩을 만든다면, 이 모델들이 믿을 수 없을 정도로 빠르고 효율적일 수 있다고 제안합니다.

밝혀내지 못한 것 (및 배제한 것)

이 논문이 하지 않은 일을 아는 것도 중요합니다.

그들은 이 방법들이 모든 것을 대체할 완벽한 교체품이라고 주장하지 않았습니다. 가장 어려운 데이터셋에서는 여전히 표준적인 헤비 모델들이 가끔 승리합니다.
그들은 단지 "열대" 수학을 사용하는 것만으로 마법의 해결책이 된다고 말하지 않았습니다. 실험 결과, 단순히 오래된 "min-plus" 또는 "max-plus" 방식만을 사용하면 모델이 복잡한 패턴을 학습하는 데 실패하는 경우가 많았습니다. 차이를 만드는 것은 바로 결합(Compound 및 Parallel)입니다.
그들은 또한 "AdderNet"(덧셈을 사용하는 방식)이라는 다른 방법을 테스트했으며, ResNet 모델에 대한 그들의 특정 테스트에서 열대 방식이 AdderNet 버전보다 종종 더 나은 성능을 보인다는 것을 발견했습니다.

결론

이 논문은 "뜨거운" 수학과 "차가운" 수학을 영리하게 섞음으로써, 훨씬 더 작은 배터리 구동 장치에 친화적인 AI 브레인을 구축할 수 있음을 시사합니다. 저자들은 복합(Compound) 및 병렬(Parallel) 열대 합성곱이 무거운 곱셈 수학을 획기적으로 줄이면서도 이미지 분류 및 의료 작업에서 경쟁력 있는 결과를 달ей할 수 있음을 보여주었습니다. 이는 우리가 이 새로운 수학을 효율적으로 실행할 수 있는 하드웨어를 구축할 수 있다면, 배터리를 소모하지 않고도 당신의 시계나 휴대폰에서 실행될 수 있는 스마트한 AI를 향한 유망한 단계입니다.

기술 요약: 트로피컬 합성 및 병렬 모드 컨볼루션 신경망 (Tropical Convolutional Neural Networks)

문제 정의

합성곱 신경망(CNN)은 최첨단 컴퓨터 비전의 기초가 되지만, 곱셈 집약적인 연산에 크게 의존하므로 자원이 제한된 에지 장치에 배포할 때 상당한 어려움을 초래합니다. 바이너리 네트워크나 AdderNet와 같은 기존 기법들은 곱셈을 줄이려고 시도하지만, 종종 특징 추출 능력을 저하시키거나 양자화 트레이드오프에 의존하게 됩니다. 트로피컬 합성곱 신경망(TCNN)은 곱셈을 더 저렴한 min/max-plus 연산으로 대체하는 대안을 제시합니다. 그러나 표준 TCNN은 계산 복잡도와 표현 능력 사이의 균형을 맞추지 못하는 지나치게 단순한 네트워크 구조로 인해 모델 정확도가 저하되는 경우가 많습니다.

방법론

저자들은 정확도-효율성 트레이드오프를 해결하기 위해 두 가지 새로운 트로피컬 합성곱 확장 방식인 **복합 트로피컬 합성곱(cTCNN)**과 **병렬 트로피컬 합성곱(pTCNN)**을 제안합니다.

핵심 개념

본 연구는 덧셈이 min/max 연산으로 대체되고 곱셈이 표준 덧셈으로 대체되는 트로피컬 대수(tropical algebra)에 기반합니다.

복합 트로피컬 합성곱 (cTCNN): 이 연산자는 단일 합성곱 레이어 내에서 동일한 가중치 커널을 사용하여 min-plus와 max-plus 연산을 결합합니다. 이는 두 연산의 선형 결합으로 정의됩니다:
$(f \otimes (g, \alpha, \beta))(t) = \alpha \cdot (f \otimes_{\min} g)(t) + \beta \cdot (f \otimes_{\max} g)(t)$
이를 통해 레이어는 두 대수적 구조 모두로부터 다양한 특징을 동시에 포착할 수 있습니다. 특수화된 형태로는 공유 파라미터( $\beta = \alpha$ ), 반대 부호( $\beta = -\alpha$ ), 그리고 상보적 가중치( $\beta = 1 - \alpha$ ) 등이 있습니다.
병렬 트로피컬 합성곱 (pTCNN): 이 연산자는 동일한 레이어 내에서 서로 다른 가중치 커널( $W_1$ 및 $W_2$ )을 사용하여 min-plus와 max-plus 연산을 결합합니다. 이는 더 많은 조절 가능한 파라미터를 제공하며 잠재적으로 더 다양한 특징 추출을 가능하게 합니다:
$(f \otimes (g_1, g_2, \alpha, \beta))(t) = \alpha \cdot (f \otimes_{\min} g_1)(t) + \beta \cdot (f \otimes_{\max} g_2)(t)$

구현 및 프레임워크

저자들은 tcnn이라는 PyTorch 호환 프레임워크를 개발했습니다.

최적화: 표준 PyTorch 구현이 많은 중간 텐서를 생성하여 비효율적인 문제를 완화하기 위해, 핵심 연산은 최적화된 GPU 커널을 생성하는 도메인 특화 언어인 TileLang을 사용하여 구현되었습니다.
호환성: 이 프레임워크는 표준 nn.Conv2d 레이어의 드롭인 교체(drop-in replacement)로 설계되었으며, 1D, 2D, 3D 합성곱을 지원합니다. 자동 미분 및 GPU 가속을 포함한 기존 PyTorch 생태계와 원활하게 통합됩니다.
하이브리드 모델: 본 연구는 이러한 트로피컬 연산자를 더 깊은 백본(ResNet, MobileNetV2) 및 시맨틱 세그멘테이션 아키텍처(U-Net, DeepLabV3)에 통합하고, 이를 표준 합성곱과 하이브리드 구성으로 사용하는 방식을 조사합니다.

주요 기여

새로운 연산자: min-plus와 max-plus 대수 연산을 결합하여 무거운 곱셈 비용을 다시 도입하지 않고도 표현 능력을 향상시키는 cTCNN 및 pTCNN을 도입했습니다.
오픈 소스 프레임워크: TileLang을 통한 최적화된 GPU 커널을 특징으로 하며, 1D, 2D, 3D 작업을 지원하고 기존 모델에 원활하게 통합할 수 있는 PyTorch 기반 구현을 제공합니다.
포괄적인 평가: 이미지 분류, 시맨틱 세그멘테이션, 1D/3D 데이터 작업(MNIST, FashionMNIST, SVHN, CIFAR-10/100, Tiny ImageNet, CamVid, Pascal VOC, UrbanSound8K, ECG, MedMNIST v2)을 아우르는 다양한 벤치마크를 통해 광범위한 실험을 수행했습니다.
하이브리드 아키텍처 분석: 트로피컬 연산자를 표준 합성곱 레이어와 통합하는 것(하이브리드 모델)이 단독 베이스라인과 비교하여 경쟁력 있거나 우수한 성능을 달- 수 있음을 입증했습니다.

실험 결과

논문은 다양한 데이터셋과 아키텍처에 대한 결과를 보고합니다:

경량 모델 (LeNet): MNIST에서 대부분의 모델은 완벽에 가까운 정확도를 달 achieves. CIFAR-10 및 SVHN과 같은 더 복잡한 데이터셋의 경우, 하이브리드 모델(예: LeNet-PM- $\alpha/\beta$ )과 복합 변형들이 표준 LeNet-ReLU 또는 순수 트로피컬 변형보다 우수한 성능을 보이며, 통합 연산량( $\Omega_u$ ) 대비 유리한 정확도-비용 균형을 달성했습니다.
깊은 백본 (ResNet/MobileNetV2):
- ResNet: CIFAR-10에서 ResNet34-Compound-I는 93.21%의 정확도(커스텀 설정)를 기록하여 표준 ResNet34 베이스라인(92.58%)을 능가했습니다. CIFAR-100의 경우, 트로피컬 변형들은 특히 커스텀 설정에서 베이스라인 대비 유의미한 개선을 보여주었습니다.
- MobileNetV2: Depthwise 합성곱을 복합 트로피컬 합성곱으로 교체했을 때, CIFAR-10 정확도가 82.74%에서 85.05%(ImageNet 설정)로, 89.90%에서 90.24%(커스텀 설정)로 향상되었습니다.
시맨틱 세그멘테이션: CamVid에서 cTCNN 기반 ResNet18 백본을 사용한 U-Net은 검증 데이터셋에서 66.03% mIoU를 달성하여 표준 베이스라인(64.05%)을 능가했습니다. Pascal VOC에서 cTCNN 기반 DeepLabV3는 표준 CNN 베이스라인과 경쟁할 만한 수준을 유지했습니다.
1D 및 3D 작업: 이 연산자들은 오디오(UrbanSound8K, Speech Commands), ECG, 3D 의료 영상(MedMNIST v2)으로 성공적으로 확장되었습니다. 많은 경우, 트로피컬 변형들은 곱셈 연산을 크게 줄이면서도 표준 CNN 성능과 일치하거나 이를 능가했습니다.
단순화된 구조: 학습 가능한 파라미터( $\alpha, \beta$ )를 제거하고 직접 합산 방식으로 변경하는 실험을 통해, 훨씬 적은 파라미터로도 경쟁력 있는 정확도를 유지할 수 있음을 보여주었으며, 이는 매우 제한된 환경에서의 잠재력을 강조합니다.

의의 및 주장

본 논문은 트로피컬 합성곱 변형(cTCNN 및 pTCNN)이 효율적인 딥러닝 모델을 구축하기 위한 실행 가능하고 효과적인 구성 요소라고 주장합니다. 주요 의의는 다음과 같습니다:

정확도-효율성 트레이드오프: min-plus와 max-plus 연산을 결합함으로써, 이러한 모델들은 낮은 곱셈 횟수를 유지하면서도 표준 TCNN에서 손실된 표현 능력을 회복할 수 있습니다.
하드웨어 불가지론 (소프트웨어 레벨): 제안된 프레임워크는 min/max-plus 연산을 위한 전용 하드웨어 가속이 없음에도 불구하고, 표준 하드웨어(GPU)를 사용하여 현대적인 딥러닝 파이프라인에 트로피컬 연산자를 통합할 수 있게 합니다.
상보성: 하이브리드 모델은 트로피컬 연산자가 표준 합성곱을 보완할 수 있음을 시사하며, 복잡한 작업에 필요한 특징 추출 능력을 희생하지 않고도 효율적인 모델을 구축할 수 있는 경로를 제시합니다.

저자들은 현재의 GPU가 곱셈-누산(MAC) 연산에 최적화되어 있어 트로피컬 합성곱의 완전한 계산적 이점을 아직 완전히 실현할 수는 없다는 점을 인정하며 하드웨어 한계에 대해 겸허한 태도를 유지합니다. 그러나 본 연구는 미래의 하드웨어 인지 최적화 및 대안적인 연산자 설계 탐구를 위한 실질적인 토대를 마련했습니다.