Revitalizing Dense Material Segmentation: Stabilized Vision Transformers and the Generalization Paradox

로봇에게 방을 보고 모든 사물이 무엇으로 만들어졌는지 설명하도록 가르친다고 상상해 보세요. 로봇이 "저것은 의자다"라고 말하는 것만으로는 부족합니다. 그 의자가 가죽, 나무, 아니면 플라스틱으로 만들어졌는지 알아야 합니다. 이를 **재료 분할 (Material Segmentation)**이라고 합니다.

오랫동안 이 작업은 진전이 더뎌 왔습니다. 애플에서 만든 특정 데이터셋 (Apple-DMS 라고 함) 이 로봇에게 이 기술을 가르치는 금표준으로 여겨졌지만, 진전은 멈춰 있었습니다. 모델들이 막히면서, 이 분야는 "저것은 탁자다"와 같이 형태를 찾는 데는 뛰어나지만 "연마된 돌 대 유리"와 같이 질감을 식별하는 데는 형편없는 다른 유형의 AI 로 이동하고 있었습니다.

이 논문은 구조대 임무와 같습니다. 저자들은 그 오래된 애플 데이터셋으로 돌아가 깨진 링크들을 수정하고, 이 문제를 해결하기 위한 새롭고 현대적인 AI 시스템을 구축했습니다. 그들이 발견한 것을 간단히 설명하면 다음과 같습니다:

1. 문제: "흐릿한 경계" 이슈

나무 탁자의 그림을 그리려 한다고 상상해 보세요. 나무와 공기 사이의 경계는 오려낸 것처럼 날카롭고 깨끗한 선이 아닙니다. 약간 흐릿하며, 나무 결은 가장자리까지 계속 이어집니다.

저자들은 이 작업에 현대적이고 강력한 AI 모델 (비전 트랜스포머라고 함) 을 사용하려 했을 때 실패했다고 발견했습니다. 왜일까요?因为这些 모델들은 자동차나 사람과 같은 날카롭고 뚜렷한 객체를 찾는 데 익숙하기 때문입니다. 재료의 "흐릿하고" 연속적인 특성에 직면했을 때, AI 는 혼란을 겪었고 학습 과정이 불안정해졌으며, 실제로 재료를 학습하는 대신 훈련 이미지를 외우기 시작했습니다.

2. 해결책: 특별한 "안정화" 레시피

이를 해결하기 위해 저자들은 단순히 더 많은 데이터를 던져 넣지 않았습니다. AI 를 진정시키고 올바른 세부 사항에 집중하도록 돕는 특별한 훈련 "레시피"를 만들었습니다:

• 고충실도 로짓 프로젝션 (High-Fidelity Logit Projection): 이는 고해상도 확대경과 같습니다. 재료의 흐릿한 가장자리를 눈 가늘게 뜨고 보는 대신, AI 는 직물 무늬나 나무 결과 같은 미세한 세부 사항을 픽셀 수준까지 바로 보도록 강요받습니다.
• 쿼리 엔트로피 정규화 (Query Entropy Regularization): AI 를 질문을 하는 탐정으로 상상해 보세요. 때때로 탐정은 너무 빨리 너무 확신하게 되어 다른 단서를 찾기를 멈춥니다. 이 기술은 AI 가 겸손하게 남아 최종 추측을 하기 전에 다른 가능성들을 계속 탐구하도록 강요합니다.
• 물리 인식 증강 (Physics-Aware Augmentation): AI 를 훈련할 때, 단순히 색상을 무작위로 변경하지 않았습니다 (이는 빨간 사과를 초록색으로 바꿔 재료를 혼란스럽게 할 수 있음). 대신, 반짝이는 반사광과 같은 사실적인 조명 효과를 추가하여 재료가 무엇인지 바꾸지 않고 다른 조명 아래에서 재료가 어떻게 보이는지 AI 에게 가르쳤습니다.

3. 큰 발견: "일반화 역설"

이것이 이 논문의 가장 흥미로운 부분입니다. 저자들은 AI 에서 흔한 트릭을 시도했습니다: 데이터 분할 방식을 변경한 것입니다.

• 원래 분할: 원래 애플 데이터셋은 매우 엄격하고 어려운 테스트를 가지고 있었습니다. 이는 연습 문제와 매우 다른 질문들이 있는 최종 시험과 같았습니다.
• 새로운 분할: 그들은 데이터를 재배열하여 80% 는 연습용이고 10% 만 테스트용으로 하였습니다. 이는 "데이터가 풍부한" 설정입니다.

역설:
새로운 분할을 사용했을 때, AI 의 테스트 점수는 올라갔습니다 (더 똑똑해진 것처럼 보였습니다).
그러나 저자들이 AI 에게 본 적 없는 실제 세계의 사진을 보여주었을 때, 더 높은 점수를 받은 AI 는 실제로 더 나쁜 성능을 보였습니다.

비유:
실제 시험과 너무 유사한 질문들 때문에 연습 시험의 정확한 답을 외우는 학생을 상상해 보세요. 그들은 연습 시험에서 100% 를 받습니다 ("새로운 분할"). 하지만 조명이나 각도가 이상한 실제 세계의 문제에 직면했을 때, 그들은 실패합니다.
더 높은 점수를 받은 AI 는 데이터셋의 패턴 (예: "이 사진은 이 특정 조명 아래에서 스튜디오에서 촬영되었다") 을 찾아내어 속이는 법을 배웠지, 실제로 나무나 플라스틱이 어떻게 생겼는지 학습한 것이 아니었습니다. 더 낮은 점수를 받은 AI 는 어려운 "원래 분할"로 훈련되어 재료 자체를 인식하는 법을 배웠기 때문에 실제 세계에서 더 견고했습니다.

4. 승리자: "질감 우선" 아키텍처

저자들은 두 가지 유형의 AI 아키텍처를 테스트했습니다:

1. Mask2Former: 이 모델은 뚜렷한 "객체"를 찾아 그 주변에 상자를 그립니다. 재료는 종종 명확한 상자 없이 서로 섞이기 때문에 이 모델은 어려움을 겪었습니다.
2. SegFormer: 이 모델은 전체 장면을 보고 질감의 층을 이해합니다. 이 모델이 경쟁에서 승리했습니다.

저자들은 SegFormer(특히 SegFormer-B5 버전) 가 이 작업에 가장 적합하다고 발견했습니다. 그들의 특별한 "안정화 레시피"를 사용하여 어려운 원래 테스트에서 새로운 기록 점수를 달성했습니다.

결론

이 논문은 재료 인식은 아직 해결되지 않았다고 결론 내립니다. AI 가 시험에서 높은 점수를 얻었다고 해서 물리적 세계를 이해한다는 뜻은 아닙니다.

그들은 점수를 인위적으로 부풀리는 "쉬운" 데이터 분할 사용을 AI 커뮤니티에 중단할 것을 촉구합니다. 대신, AI 가 데이터셋의 통계가 아닌 재료의 진정한 물리를 학습하도록 강제하는 어려운 엄격한 테스트 (원래 Apple-DMS 분할과 같은) 에 머무러야 합니다. 그들은 다른 사람들이 이 작업을 계속할 수 있도록 코드와 복구된 데이터를 공개했습니다.