🤖 AI

Enhancing Floor Plan Recognition: A Hybrid Mix-Transformer and U-Net Approach for Precise Wall Segmentation

이 논문은 기존 방법의 한계를 극복하고 2D 평면도에서 벽 구조를 정밀하게 분할하여 3D 재구성을 가능하게 하기 위해 Mix-Transformer 인코더와 U-Net 디코더를 결합한 하이브리드 신경망 'MitUNet'을 제안합니다.

원저자: Dmitriy Parashchuk, Alexey Kaspshitskiy, Yuriy Karyakin

게시일 2026-04-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dmitriy Parashchuk, Alexey Kaspshitskiy, Yuriy Karyakin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🏠 1. 문제 상황: "미세한 벽을 찾는 게 왜 어려울까?"

상상해 보세요. 복잡한 건축 도면이 있습니다. 여기저기 가구 그림, 치수 표시, 문양 등이 가득 차 있죠. AI 는 이 복잡한 그림 속에서 **"벽"**만 정확히 찾아내야 합니다.

기존 AI 의 문제: 기존 기술들은 벽이 너무 얇거나, 문양이 복잡한 벽 (예: 벽돌 무늬가 그려진 벽) 을 놓치거나, 벽이 아닌 가구 그림까지 벽으로 잘못 인식하는 경우가 많았습니다. 마치 "안경을 쓴 사람이 먼 곳의 글자는 잘 읽는데, 아주 가깝고 얇은 실선만 보면 흐릿하게 보는" 것과 비슷합니다.
결과: 벽을 잘못 찾으면 3D 모델을 만들 때 방이 뚫려 있거나, 벽이 뭉개지는 등 엉망이 됩니다.

🛠️ 2. 해결책: "미트유넷 (MitUNet)"이라는 새로운 도구

저자들은 **'미트유넷 (MitUNet)'**이라는 새로운 AI 모델을 만들었습니다. 이 모델은 두 가지 강력한 기술을 섞은 '하이브리드' 방식입니다.

🧩 비유: "현미경과 망원경을 동시에 쓴다"

이 모델은 두 가지 눈을 동시에 가지고 있습니다.

망원경 (Mix-Transformer): 멀리서 전체적인 구조를 봅니다. "아, 이 집은 전체적으로 L 자 모양이구나", "이 방이 거실이고 저게 침실이지"라고 전체적인 맥락을 파악합니다.
현미경 (U-Net): 아주 가까이서 세부적인 부분을 봅니다. "벽의 끝이 여기까지야", "이 문양은 벽이 아니라 가구야"라고 얇은 선과 경계를 정밀하게 찾아냅니다.

이 두 가지 눈을 하나로 합쳐서, 전체적인 흐름도 놓치지 않고, 벽 하나하나의 경계도 아주 정확하게 그릴 수 있게 만든 것이죠.

⚖️ 3. 핵심 기술: "잘못된 것을 더 무겁게 처벌한다" (Tversky Loss)

AI 를 훈련시킬 때, "틀리면 점수를 깎아라"라고 가르치는데, 어떤 실수를 더 중요하게 생각할지 정하는 기준이 필요합니다.

기존 방식: "벽을 놓치는 것 (False Negative)"과 "벽이 아닌 것을 벽으로 잘못 보는 것 (False Positive)"을 똑같이 처벌했습니다.
이 연구의 방식: "벽이 아닌 것을 벽으로 잘못 보는 것"을 훨씬 더 무겁게 처벌했습니다.

🎯 비유: "방청소"

기존 AI: 방청소를 할 때, 먼지 (오류) 가 조금 남아있어도 "아, 전체적으로 깨끗하네"라고 생각하고 넘어갑니다. (결과: 벽이 두꺼워지거나 불필요한 부분이 채워짐)
이 연구의 AI: "먼지 (오류) 가 하나라도 있으면 안 돼!"라고 엄격하게 따집니다. 그래서 벽이 아닌 부분 (가구, 문양, 텍스트) 은 깨끗이 비워두고, 진짜 벽만 날카롭게 남깁니다.

이렇게 하면 나중에 벽을 컴퓨터 그래픽으로 변환할 때 (벡터화), 벽이 뭉개지지 않고 쫙쫙 날카롭게 그려져서 3D 모델이 훨씬 깔끔해집니다.

📊 4. 실험 결과: "실제 러시아 아파트 도면에서도 잘 작동했다"

저자들은 이 모델을 두 가지 데이터로 테스트했습니다.

CubiCasa5k: 전 세계의 다양한 평면도 (기본 훈련용).
지역 데이터셋 (새로 공개): 러시아와 CIS 지역의 실제 아파트 도면. 이 도면들은 벽에 복잡한 무늬가 그려져 있고, 가구 그림이 벽 위에 겹쳐 있는 등 기존 데이터와 달랐습니다.

결과:

기존 모델들은 복잡한 무늬 때문에 벽을 못 찾거나, 가구 그림을 벽으로 잘못 인식했습니다.
미트유넷은 복잡한 무늬 속에서도 벽의 경계를 날카롭게 찾아냈고, 불필요한 잡음은 깨끗하게 제거했습니다.
특히, 벽의 두께가 얇아지거나 뭉개지는 현상을 막아 3D 모델링에 바로 쓸 수 있는 '깔끔한 결과물'을 만들어냈습니다.

🚀 5. 결론: "왜 이 연구가 중요한가?"

이 연구는 단순히 "벽을 찾는다"는 것을 넘어, **"3D 모델링을 자동화하는 첫걸음"**을 닦았습니다.

기존: 사람이 도면을 보고 3D 모델을 만드는 데 몇 시간, 몇 날이 걸림.
이제: 이 AI 가 벽을 정확히 찾아주면, 컴퓨터가 자동으로 3D 집을 만들어냅니다.

한 줄 요약:

"전체적인 흐름을 보는 '망원경'과 미세한 선을 보는 '현미경'을 합치고, '오류'를 엄격하게 다스리는 AI 를 만들어, 복잡한 건축 도면에서도 벽을 칼날처럼 정확하게 찾아내 3D 모델링을 자동화했다."

이 기술은 부동산 마케팅, 리모델링 계획, 혹은 우리 집 평면도를 3D 로 바꿔보는 앱 등 다양한 분야에서 시간을 아껴주고 비용을 줄여줄 것입니다.

1. 연구 배경 및 문제 정의 (Problem)

배경: 2D 평면도 (Floor Plan) 에서 3D 건축 모델을 자동 생성하는 것은 부동산 마케팅, BIM(Building Information Modeling), 개인 공간 시각화 등에 필수적이지만, 수동 작업은 시간과 비용이 많이 들어 확장성이 떨어집니다.
핵심 문제: 자동 3D 재구성을 위해서는 구조적 요소, 특히 **벽 (Wall)**의 정밀한 의미 분할 (Semantic Segmentation) 이 필수적입니다.
기존 방법의 한계:
- 기존 CNN 기반 모델은 긴 범위의 의존성 (Long-range dependencies) 을 포착하는 데 한계가 있어 복잡한 도면에서 구조 벽과 장식 선을 구분하기 어렵습니다.
- Transformer 기반 모델 (SegFormer 등) 은 전역 문맥을 잘 이해하지만, 얇은 벽 구조를 정밀하게 복원하는 데 필요한 고해상도 세부 정보를 잃거나 경계가 흐려지는 (Blurring) 문제가 발생합니다.
- 특히 러시아 및 CIS 지역과 같은 특정 지역의 평면도는 서구권 데이터셋 (CubiCasa5k 등) 과 다른 채색 패턴 (해치링), 비직교 기하학적 구조, 높은 수준의 노이즈 (가구, 치수선 등) 를 가지고 있어 도메인 적응이 어렵습니다.

2. 제안 방법론 (Methodology)

저자들은 MitUNet이라는 하이브리드 신경망 아키텍처를 제안하여 전역 문맥과 미세한 구조적 세부 사항을 모두 포착하는 것을 목표로 합니다.

A. 아키텍처: MitUNet

인코더 (Encoder): **Mix-Transformer (MiT-b4)**를 사용합니다.
- SegFormer 프레임워크에서 유래했으며, ImageNet 사전 학습 가중치를 활용합니다.
- CNN 과 유사한 계층적 (Hierarchical) 설계를 통해 다중 스케일 특징 ({1/4, 1/8, 1/16, 1/32} 해상도) 을 추출합니다.
- 중첩된 패치 병합 (Overlapping patch merging) 메커니즘을 사용하여 격자 아티팩트를 방지하고 벽의 연속성을 유지합니다.
디코더 (Decoder): U-Net 스타일의 디코더를 사용합니다.
- SegFormer 의 경량 MLP 디코더 대신, 고해상도 특징을 복원하기 위해 U-Net 의 스킵 연결 (Skip connections) 과 점진적 업샘플링 경로를 도입합니다.
- scSE (Spatial and Channel Squeeze & Excitation) 블록을 각 디코딩 단계에 통합하여 공간적 (벽 위치 강조) 과 채널적 (관련성 높은 특징 강조) 어텐션을 적용합니다. 이는 전역 문맥을 픽셀 단위의 정밀한 경계로 변환하는 데 핵심적입니다.

B. 데이터 전처리 및 손실 함수 전략

데이터셋:
- CubiCasa5k: 일반적 기하학적 특징 학습을 위한 대규모 사전 학습용 데이터.
- Regional Dataset (CIS): 저자들이 수집한 500 장의 평면도로, 복잡한 해치링, 비직교 구조, 높은 노이즈를 포함합니다. (Door/Window 영역을 벽 마스크에서 정확히 제거하기 위한 정제 절차 적용).
손실 함수 (Loss Function):
- Tversky Loss를 주 손실 함수로 채택했습니다.
- 비대칭 페널티 (Asymmetric Penalties): 가짜 양성 (False Positive, FP) 과 가짜 음성 (False Negative, FN) 에 대해 다른 가중치 ( $\alpha, \beta$ ) 를 부여합니다.
- 전략: $\alpha > \beta$ (예: 0.6 vs 0.4) 로 설정하여 FP 를 더 엄격하게 패널티화함으로써, 벽의 두께가 불필요하게 두꺼워지거나 배경 노이즈가 벽으로 잘못 분류되는 것을 방지합니다. 이는 벡터화 (Vectorization) 에 적합한 날카로운 경계를 확보하는 데 결정적입니다.

3. 주요 실험 결과 (Results)

실험은 NVIDIA RTX 4060 Ti 환경에서 수행되었으며, CubiCasa5k 와 Regional Dataset 을 활용한 전이 학습 (Transfer Learning) 전략을 적용했습니다.

성능 비교 (Regional Dataset 기준):
- **MitUNet (Tversky Loss)**는 mIoU 87.91%, **Precision 94.82%**를 기록하여 UNet++, DeepLabV3+, SegFormer, UPerNet 등 기존 SOTA 모델들을 모두 능가했습니다.
- 경계 정확도 (Boundary IoU): MitUNet 은 **85.01%**의 B-IoU 를 달성했습니다. 반면, SegFormer 는 Tversky Loss 를 사용하더라도 경계 품질이 급격히 저하 (81.31%) 되었으며, 이는 고해상도 디코더의 부재로 인한 한계를 보여줍니다.
- 효율성: MitUNet 은 UNet++ 보다 약 2 배 적은 VRAM (1751 MiB vs 3311 MiB) 을 사용하면서도 더 높은 성능을 발휘했습니다.
하이퍼파라미터 튜닝:
- $\alpha=0.6, \beta=0.4$ 설정이 최적의 균형을 보여주었습니다. $\alpha$ 를 높일수록 정밀도 (Precision) 는 증가하지만 재현율 (Recall) 이 감소하는 경향이 있었으며, 이 설정이 노이즈 제거와 구조적 무결성 사이에서 가장 좋은 결과를 냈습니다.
전이 학습 효과:
- CubiCasa5k 에서 사전 학습 후 Regional Dataset 에서 미세 조정 (Fine-tuning) 한 모델은 처음부터 학습한 모델보다 모든 지표에서 향상된 성능을 보였습니다.

4. 주요 기여 (Key Contributions)

MitUNet 아키텍처 제안: Mix-Transformer 의 전역 문맥 이해 능력과 U-Net 의 고해상도 세부 복원 능력을 결합한 하이브리드 구조를 통해 얇은 벽 구조의 정밀 분할을 달성했습니다.
Tversky Loss 기반 최적화 전략: 비대칭 손실 함수를 통해 벽의 두께를 과도하게 두껍게 만드는 것을 방지하고, 벡터화 (Vectorization) 에 적합한 날카롭고 깨끗한 경계를 생성하는 방법을 입증했습니다.
새로운 Regional Dataset 공개: 서구권 데이터셋과 다른 도메인 특성 (해치링, 비직교 구조 등) 을 가진 500 장의 평면도 데이터셋을 공개하여 향후 연구의 재현성과 도메인 적응 연구에 기여했습니다.
Scalable Scan-to-BIM 파이프라인: 수동 작업을 줄이고 자동 3D 재구성을 위한 견고한 기반을 마련했습니다.

5. 의의 및 결론 (Significance)

이 연구는 2D 평면도에서 3D 모델로의 자동 변환 과정에서 가장 취약한 단계인 벽 분할의 정확도를 획기적으로 개선했습니다. 특히, 비대칭 Tversky Loss를 활용하여 생성된 마스크가 단순한 픽셀 정확도뿐만 아니라 **기하학적 정밀도 (Geometric Fidelity)**를 확보함으로써, 이후 벡터화 알고리즘이 더 쉽게 작동할 수 있게 했습니다.

MitUNet 은 복잡한 지역적 건축 양식에도 강건하게 적용 가능하며, 부동산 자동화 및 BIM 생성 파이프라인의 핵심 구성 요소로서 실용적인 가치를 지닙니다. 저자들은 향후 이 모듈을 확장하여 래스터 이미지에서 직접 위상 그래프 (Topological Graph) 를 생성하는 엔드 - 투 - 엔드 벡터화 프레임워크로 발전시킬 계획입니다.