💻 computer science

Square Superpixel Generation and Representation Learning via Granular Ball Computing

이 논문은 불규칙한 형태의 기존 초픽셀의 한계를 극복하고 병렬 처리 및 딥러닝 파이프라인 통합을 가능하게 하기 위해, 입자구 컴퓨팅을 기반으로 한 정사각형 초픽셀 생성 및 표현 학습 방법을 제안하고 하류 작업에서 성능 향상을 입증합니다.

원저자: Shuyin Xia, Meng Yang, Dawei Dai, Fan Chen, Shilin Zhao, Junwei Han, Xinbo Gao, Guoyin Wang, Wen Lu

게시일 2026-04-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shuyin Xia, Meng Yang, Dawei Dai, Fan Chen, Shilin Zhao, Junwei Han, Xinbo Gao, Guoyin Wang, Wen Lu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

📸 1. 문제: "모든 것을 똑같이 자세히 보면 지쳐버려요"

컴퓨터가 사진을 분석할 때, 보통 사진의 모든 작은 점 (픽셀) 을 하나하나 다 확인합니다. 마치 거대한 퍼즐을 풀 때, 조각 하나하나를 모두 똑같은 힘으로 자세히 들여다보는 것과 비슷하죠.

하지만 문제는 두 가지입니다.

비효율: 하늘처럼 똑같은 배경이나 벽처럼 단순한 부분까지도 너무 자세히 보면 컴퓨터가 지쳐버립니다 (계산 비용이 너무 많이 듭니다).
불규칙함: 기존에 쓰이던 방법들은 사진을 잘게 쪼갤 때 모양이 제각각이었습니다. 마치 조각난 유리조각처럼 생겼는데, 컴퓨터는 이런 불규칙한 모양을 처리하는 게 매우 어렵습니다. (마치 정사각형 블록으로만 쌓은 레고 성을 쌓는 데, 갑자기 둥근 돌멩이를 섞어 넣으면 어색한 것과 같습니다.)

🟦 2. 해결책: "똑똑한 정사각형 블록으로 정리하기"

저자들은 이 문제를 해결하기 위해 **"그레너 (Granular Ball)"**라는 개념을 차용했습니다. 이를 쉽게 비유하자면 다음과 같습니다.

기존 방식: 사진을 잘게 쪼갤 때, 모양이 제각각인 불규칙한 돌멩이를 사용합니다.
이 논문의 방식: 사진을 **정사각형 블록 (사각형 레고)**으로만 쪼개고, 그 크기를 상황에 따라 조절합니다.

🧩 핵심 아이디어: "청결도 (Purity) 검사"

이 방법은 사진을 잘게 쪼개기 전에 **"이 부분은 얼마나 깨끗하고 단순한가?"**를 먼저 검사합니다.

큰 블록으로 시작: 먼저 사진을 큰 정사각형 블록으로 덮어봅니다.
청결도 검사: 그 블록 안의 색깔이 모두 비슷하면 (예: 푸른 하늘), **"아, 이 부분은 단순하네!"**라고 판단하고 큰 블록 하나로 처리합니다.
세분화: 만약 블록 안에 다양한 색깔이 섞여 있다면 (예: 사람 얼굴이나 복잡한 나무), **"이 부분은 복잡하구나!"**라고 판단하고 그 블록을 더 작은 정사각형으로 쪼개서 자세히 봅니다.

이 과정을 마치 마이크로소프트 엑셀의 '병합 및 정렬' 기능을 자동화한 것처럼, 컴퓨터가 스스로 "여기는 크게, 저기는 작게" 블록을 나누는 것입니다.

🚀 3. 장점: 왜 이것이 혁신적인가요?

이 방법은 컴퓨터에게 세 가지 큰 혜택을 줍니다.

🏗️ 레고처럼 깔끔하게: 모든 부분이 정사각형 블록으로 되어 있어, 컴퓨터가 처리하기 매우 편합니다. (기존의 불규칙한 돌멩이보다 훨씬 빠릅니다.)
⚡ 에너지 절약: 단순한 배경은 큰 블록으로, 중요한 사물 (사람, 자동차 등) 은 작은 블록으로 처리합니다. 불필요한 부분을 건너뛰기 때문에 컴퓨터가 훨씬 덜 지칩니다.
🤝 AI 와 찰떡궁합: 요즘 인기 있는 '비전 트랜스포머 (ViT)'나 '그래프 신경망 (GNN)' 같은 최신 AI 모델들은 이런 규칙적인 블록을 매우 좋아합니다. 마치 정해진 칸에 맞춰 들어가는 퍼즐처럼 AI 가 정보를 더 잘 이해할 수 있게 해줍니다.

📊 4. 실제 효과: "적은 정보로도 똑똑하게"

저자들은 이 방법을 다양한 테스트에 적용했습니다.

사물 인식 (Object Detection): 차나 사람 같은 사물을 찾을 때, 배경의 불필요한 정보를 50% 이상 줄여도 (블록을 반으로 줄여도) 정확도는 거의 떨어지지 않았습니다. 마치 책에서 중요한 문장만 발췌해서 읽어도 줄거리가 잘 이해되는 것과 같습니다.
이미지 분류: 사진이 무엇인지 분류하는 작업에서도 기존 방법들보다 더 높은 점수를 받았습니다.

💡 요약

이 논문은 **"컴퓨터가 사진을 볼 때, 모든 것을 똑같이 자세히 보지 말고, 중요한 곳은 자세히, 단순한 곳은 대충 (큰 블록으로) 보자"**는 아이디어를 제안합니다.

그리고 그걸 위해 모양이 제각각인 돌멩이 대신, 컴퓨터가 처리하기 쉬운 '정사각형 블록'을 상황에 따라 크기를 조절하며 사용하는 똑똑한 방법을 개발했습니다. 결과적으로 컴퓨터는 더 적은 노력으로 더 똑똑하게 이미지를 이해하게 되었습니다.

논문 요약: 과립구 (Granular Ball) 컴퓨팅을 통한 정사각형 초픽셀 생성 및 표현 학습

1. 문제 제기 (Problem)

기존의 초픽셀 (Superpixel) 알고리즘은 이미지 내 유사한 속성 (색상, 질감 등) 을 가진 픽셀들을 그룹화하여 계산 비용을 줄이고 객체 경계를 보존하는 데 널리 사용되어 왔습니다. 그러나 기존 방법론 (예: SLIC) 은 다음과 같은 근본적인 한계를 가지고 있습니다.

불규칙한 형태: 생성된 영역이 불규칙하여 합성곱 (Convolution) 과 같은 규칙적인 연산자와 정렬되지 않습니다.
딥러닝 파이프라인 통합의 어려움: 비미분 가능 (Non-differentiable) 하거나, 연결성 제약을 위해 추가적인 후처리가 필요하여 엔드 - 투 - 엔드 (End-to-End) 최적화가 어렵습니다.
병렬 처리의 비효율성: 불규칙한 영역은 배치 (Batch) 단위 병렬 처리를 방해하며, Vision Transformer (ViT) 나 GNN 과 같은 현대적 모델에 직접 통합하기 어렵습니다.
멀티모달 학습의 한계: 텍스트의 이산적 의미 기호와 이미지의 픽셀/패치 간 정합을 맞추기 위한 구조적 사전 지식이 부족합니다.

2. 제안 방법 (Methodology)

저자들은 과립구 컴퓨팅 (Granular Ball Computing, GBC) 의 적응적 표현 및 커버리지 특성을 차용하여, 정사각형 초픽셀 (Square Superpixel) 을 생성하는 새로운 방식을 제안합니다.

정사각형 과립구 (Square Granular Ball):
- 기존 구형 (Sphere) 과립구를 대신하여, 이미지 평면을 정사각형 블록으로 분할합니다.
- 각 블록 $GB_i = (X_i, h_i)$ 는 픽셀 집합 $X_i$ 와 한 변의 길이 $h_i$ 로 정의되며, 이는 이미지 전체를 간격 없이 채웁니다.
순도 기반 계층적 선택 (Purity-driven Hierarchical Selection):
- Coarse-to-Fine 전략: 이미지를 여러 스케일 (그리드) 로 분할합니다.
- 순도 점수 (Purity Score): 각 블록의 중심 픽셀들의 평균을 기준으로 블록 내 픽셀들의 일관성 (순도) 을 계산합니다.
  - $q_i = \frac{1}{|GB_i|} \sum_{p \in GB_i} I(\|x_p - m_i\|_1 < \tau)$
- 선택 및 세분화: 높은 순도를 가진 블록은 큰 초픽셀로 유지되고, 이질적인 영역은 더 작은 블록으로 세분화됩니다. 이 과정은 부모 - 자식 관계를 유지하며 계층적으로 수행됩니다.
토큰화 및 통합:
- 생성된 정사각형 블록들은 구조화된 시각 토큰 (Structured Visual Tokens) 으로 변환됩니다.
- 이 토큰들은 그래프 신경망 (GNN) 의 노드나 Vision Transformer 의 토큰으로 직접 사용 가능하며, 불필요한 배경 토큰을 제거 (Pruning) 하는 데 활용됩니다.
복잡도: 이 방법은 $O(LN) $의 선형 시간 복잡도를 가지며 (여기서$ L $은 스케일 단계 수,$ N$은 픽셀 수), GPU 병렬 처리에 최적화되어 있습니다.

3. 주요 기여 (Key Contributions)

엔드 - 투 - 엔드 호환형 정사각형 초픽셀 토큰화: 반복적이지 않고 블록 단위 점수 매기기와 선택을 통해 실시간으로 구조화된 토큰을 생성하는 규칙 기반 메커니즘을 제안했습니다. 추가적인 학습 가능한 생성기나 전처리 단계 없이 기존 딥러닝 네트워크에 통합 가능합니다.
다중 해상도 시각 이산화 전략: 다양한 스케일의 정사각형 초픽셀을 그래프 네트워크와 Transformer 가 직접 소비할 수 있는 이산 표현으로 통합하며, RT-DETR 과 같은 모델에서 토큰 가지치기 (Token Pruning) 를 가능하게 합니다.
범용성 및 효율성 검증: 다양한 데이터셋 (MNIST, CIFAR-10, CelebA, COCO) 과 아키텍처 (GNN, ViT, DETR) 를 통해 제안된 방법의 효과성과 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

이미지 분류 (Image Classification):
- MNIST: 99.40% 의 정확도 달성.
- CIFAR-10: 다양한 모델 크기 (Small, Base, Large) 에서 기존 GNN 및 Graph Transformer 모델들 (ShapeGNN, GRIT 등) 보다 우수한 성능을 보였습니다. 특히 구조적으로 복잡한 영역을 적응적으로 세분화하여 분류 성능을 향상시켰습니다.
이미지 - 텍스트 검색 (Image-Text Retrieval):
- CelebA 및 MM-CelebA: FLIP 프레임워크에 통합하여 실험한 결과, Zero-shot 및 경량 적응 (Lightweight adaptation) 모두에서 기존 모델 (CLIP, BLIP, FLIP) 보다 Recall@K 지표를 향상시켰습니다. 이는 미세한 지역적 특징과 구조적 표현이 교차 모달 정합에 도움을 줌을 의미합니다.
객체 감지 (Object Detection):
- RT-DETR 통합: COCO 데이터셋에서 RT-DETR 의 토큰 수를 400 개에서 200 개 (50% 감소) 로 줄였을 때, AP(Average Precision) 가 53.1 에서 52.3 으로 미미하게 감소하는 반면, 계산 복잡도 (Attention 비용) 는 약 75% 감소했습니다.
- 효율성: 배경 영역의 토큰을 제거하고 객체가 밀집된 영역의 토큰을 보존함으로써, 계산 비용 절감과 성능 유지 사이의 최적 균형을 달성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 초픽셀 생성을 단순한 전처리 단계를 넘어, 딥러닝 파이프라인과 자연스럽게 통합 가능한 구조적 표현 학습 도구로 재정의했습니다.

구현의 용이성: 불규칙한 영역 처리의 복잡성을 제거하고 정사각형 블록을 사용하여 GPU 병렬 처리와 텐서 연산에 최적화되었습니다.
효율성 향상: Vision Transformer 기반 모델의 주요 병목 현상인 자기 주의 (Self-Attention) 계산 비용을 줄이면서도 객체 감지 및 분류 성능을 유지하는 'Plug-and-Play' 모듈로서의 가치를 입증했습니다.
미래 전망: 제안된 방법은 다양한 ViT 기반 비전 작업으로 확장 가능하며, 멀티모달 학습에서 시각적 구조적 사전 지식 (Structural Priors) 을 제공하는 중요한 기반이 될 것으로 기대됩니다.