Each language version is independently generated for its own context, not a direct translation.

TRACE: AI 가 그림을 그리며 '사물의 경계'를 비밀리에 찾아낸다는 이야기

안녕하세요! 오늘 소개해 드릴 논문은 **"TRACE"**라는 이름의 새로운 기술에 대한 것입니다. 이 기술은 우리가 매일 보는 이미지에서 '물체가 어디까지고, 어디부터가 다른 물체인지'를 자동으로 찾아내는 방법을 혁신적으로 바꿉니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제: "그림을 그리는 AI 는 사실 '경계선'을 먼저 그린다?"

우리가 사진을 찍거나 그림을 그릴 때, 보통 "이건 고양이, 저건 개"라고 라벨을 붙여주려면 사람이 일일이 손으로 윤곽선을 그려줘야 합니다. 이는 너무 비싸고, 시간이 많이 걸리며, 사람마다 그리는 방식이 달라서 일관성이 없습니다.

최근에는 AI 가 스스로 배우는 '비지도 학습'이나 '약한 지도 학습'이 등장했지만, 여전히 AI 는 "고양이와 개가 붙어있으면 하나로 합쳐버리거나 (병합)", "한 마리의 고양이를 여러 조각으로 쪼개버리는 (파편화)" 실수를 자주 합니다.

여기서 놀라운 발견이 있었습니다!
최근 화두인 '텍스트로 그림을 그리는 AI(확산 모델)'를 자세히 들여다보니, AI 가 그림을 그리는 과정 중 아주 특별한 순간에 '물체의 경계선'을 비밀리에 그려놓고 있었다는 것을 발견한 것입니다.

비유: 마치 요리사가 요리를 할 때, 재료를 다듬는 과정에서 자연스럽게 '칼질 자국'이 남는 것처럼, 그림을 그리는 AI 도 그림을 완성해 가는 과정에서 '물체의 경계'를 먼저 만들어낸다는 뜻입니다.

2. 해결책: TRACE (트레이스)

이 연구팀은 이 비밀을 이용해 TRACE라는 시스템을 만들었습니다. TRACE 는 다음과 같은 세 가지 단계로 작동합니다.

① '물체가 튀어나오는 순간' 찾기 (Instance Emergence Point)

AI 가 잡음 (노이즈) 에서 그림을 그려나갈 때, 처음에는 아무것도 안 보이다가 어느 순간부터 "아! 저기 고양이 모양이네!"라고 인식하기 시작합니다. TRACE 는 이 가장 선명하게 물체 모양이 드러나는 순간을 찾아냅니다.

비유: 안개 낀 바다에서 배가 서서히 모습을 드러낼 때, 배의 윤곽이 가장 뚜렷하게 보이는 그 '순간'을 포착하는 것입니다.

② '주의 집중 차이'로 경계선 그리기 (Attention Boundary Divergence)

AI 는 그림을 그릴 때 "이 픽셀은 고양이 귀야, 저 픽셀은 고양이 꼬리야"라고 스스로 집중합니다. TRACE 는 서로 다른 물체 사이의 경계에서 AI 의 집중도가 어떻게 달라지는지를 분석합니다. 같은 물체 안에서는 집중도가 비슷하지만, 경계를 넘으면 확 달라집니다. 이 차이를 이용해 경계선을 그립니다.

비유: 두 사람이 손잡고 서 있을 때, 두 사람 사이의 '손잡는 부분'과 '서로 다른 몸통'의 경계를 AI 가 눈빛 (집중) 으로 감지하는 것과 같습니다.

③ '한 번에 끝내는' 빠른 학습 (One-step Distillation)

위 과정을 매번 실시간으로 하려면 너무 느립니다. 그래서 TRACE 는 이 복잡한 과정을 AI 가 한 번에 끝낼 수 있도록 훈련시킵니다. 마치 복잡한 수학 문제를 풀고 나서, 그 풀이 과정을 외워서 다음엔 답만 바로 말해줄 수 있게 만드는 것과 같습니다.

효과: 기존 방법보다 81 배나 빠르면서, 더 선명하고 끊어지지 않는 경계선을 만들어냅니다.

3. 왜 이것이 중요할까요?

이 기술은 다음과 같은 큰 장점이 있습니다.

비용 절감: 더 이상 사람이 일일이 윤곽선을 그릴 필요가 없습니다. (비용 0 원!)
정확도 향상: 기존 방법들보다 물체를 훨씬 정확하게 분리합니다. 예를 들어, 붙어 있는 두 마리의 고양이를 구별하거나, 잘려진 조각들을 다시 이어주는 데 탁월합니다.
범용성: 단순히 '고양이'나 '개'뿐만 아니라, 어떤 사물이라도 경계를 찾아낼 수 있습니다.

4. 실제 효과 (실제 사례)

자동차 자율주행: 길 위의 사람, 차, 자전거가 서로 겹쳐 있어도 정확하게 구분해 줍니다.
의료 영상: 세포처럼 아주 작은 것들도 잘라내어 구분할 수 있습니다. (다만, 너무 작은 위성 사진이나 특수한 의료 영상에서는 아직 한계가 있습니다.)
이미지 편집: "이 고양이만 잘라내서 다른 배경에 붙여줘"라고 할 때, AI 가 경계를 정확히 인식해서 깔끔하게 잘라줍니다.

5. 결론

이 논문은 **"AI 가 그림을 그리는 과정 자체가 이미 '물체의 경계'를 알고 있는 비밀 지도를 가지고 있다"**는 것을 증명했습니다.

우리는 이제 그 비밀 지도를 꺼내어, 사람의 손이 전혀 필요 없이 이미지 속 사물들을 깔끔하게 분리해낼 수 있게 되었습니다. 이는 컴퓨터 비전 분야에서 '비용이 많이 드는 수작업'을 대체할 수 있는 획기적인 전환점이 될 것입니다.

한 줄 요약:

"그림을 그리는 AI 가 그리는 과정 중에 '물체의 테두리'를 비밀리에 그려놓는다는 걸 발견하고, 그걸로 사람 없이도 이미지를 깔끔하게 잘라내는 기술을 개발했습니다!"

Each language version is independently generated for its own context, not a direct translation.

TRACE: 확산 모델이 비밀리에 인스턴스 엣지 감지기임을 밝히다 (ICLR 2026)

이 논문은 TRACE (TRAnsforming diffusion Cues to instance Edges) 라는 새로운 프레임워크를 제안합니다. TRACE 는 텍스트 - 이미지 생성 확산 모델 (Text-to-Image Diffusion Models) 이 사실은 인스턴스 엣지 (Instance Edge) 를 감지하는 강력한 도구로 작동할 수 있음을 발견하고, 이를 활용하여 주석 (Annotation) 없이도 정밀한 인스턴스 분할을 가능하게 합니다.

1. 문제 정의 (Problem)

고비용의 주석 의존성: 고품질의 인스턴스 분할 (Instance Segmentation) 및 팬옵틱 분할 (Panoptic Segmentation) 은 전통적으로 픽셀 단위의 마스크, 박스, 또는 포인트와 같은 밀집된 인스턴스 레벨 주석에 의존해 왔습니다. 이러한 주석은 비용이 매우 많이 들고, 주석자 간 일관성이 부족하며, 확장성이 떨어집니다.
기존 비지도/약지도 방법의 한계:
- 비지도 인스턴스 분할 (UIS): 사전 학습된 비전 트랜스포머 (예: DINO) 의 특징을 클러스터링하는 방식은 이미지 간 의미적 유사성에는 강하지만, 단일 이미지 내의 인접한 객체들을 분리하는 데는 한계가 있습니다. 이로 인해 같은 클래스의 인접 객체가 하나로 합쳐지거나 (Merging), 단일 객체가 조각나는 (Fragmentation) 문제가 빈번합니다.
- 약지도 분할: 이미지 레벨 태그 (Tag) 만으로는 인스턴스 분리가 불가능하며, 포인트 (Point) 나 박스 (Box) 와 같은 약한 주석이 필요합니다. 하지만 이 역시 주석 비용이 발생하고, 객체가 겹치거나 주석자가 불일치할 때 오류가 발생합니다.

2. 방법론 (Methodology)

TRACE 는 텍스트 - 이미지 확산 모델의 자기 주의 (Self-Attention) 맵에서 인스턴스 구조가 나타나는 시점을 포착하여 엣지를 추출하는 3 단계 프로세스를 따릅니다.

2.1 인스턴스 출현 지점 (Instance Emergence Point, IEP)

확산 모델의 역과정 (Reverse Process, 노이즈 제거) 중 어떤 시점에서 자기 주의 맵이 의미적 (Semantic) 구조에서 인스턴스 (Instance) 구조로 전환되는지 탐지합니다.
KL 발산 (Kullback-Leibler Divergence) 을 사용하여 연속된 시간 단계 (Timesteps) 의 자기 주의 맵 간의 차이를 측정합니다.
IEP ( $t^*$ ) 는 이 KL 발산이 최대가 되는 시점으로 정의됩니다. 이 시점에서 객체 경계가 가장 뚜렷하게 나타납니다.

2.2 주의 경계 발산 (Attention Boundary Divergence, ABDiv)

IEP 에서 추출된 인스턴스 인지 자기 주의 맵 ( $SA_{inst}$ ) 을 기반으로 엣지 맵을 생성합니다.
원리: 동일한 객체 내부의 픽셀들은 자기 주의 분포가 유사하지만, 서로 다른 객체의 경계를 가로지르는 픽셀들은 분포가 급격히 다릅니다.
계산: 인접한 픽셀 (상하좌우) 간의 KL 발산을 계산하여 ABDiv 점수를 산출합니다. 이 값이 높은 영역이 인스턴스 경계로 간주됩니다. 이는 클러스터링이나 주석이 필요 없는 비모수적 (Non-parametric) 방법입니다.

2.3 원스텝 자기 증류 (One-step Self-Distillation)

매 이미지마다 IEP 와 ABDiv 를 계산하는 것은 추론 시 계산 비용이 높습니다. 이를 해결하기 위해 경량 엣지 디코더 (Edge Decoder) 를 학습시킵니다.
학습 과정: 확산 모델의 백본 (Backbone) 을 LoRA (Low-Rank Adaptation) 로 미세 조정하고, ABDiv 로 생성된 가짜 엣지 (Pseudo Edge) 를 지도 신호로 사용하여 엣지 디코더를 훈련합니다.
결과: 학습이 완료되면, 단 한 번의 전파 (Single Forward Pass) 만으로 IEP 와 ABDiv 계산 없이도 정밀하고 연결된 인스턴스 엣지를 실시간으로 예측할 수 있게 됩니다.

2.4 경계 유도 전파 (Boundary-Guided Propagation, BGP)

추출된 TRACE 엣지를 하류 분할 모델 (예: MaskCut, DHR 등) 에 적용합니다.
엣지를 '분리자 (Separator)'로 사용하여 기존에 합쳐지거나 조각난 마스크를 경계 내에서 재전파하고, 겹치는 영역을 병합하여 최종 인스턴스 마스크를 완성합니다.

3. 주요 기여 (Key Contributions)

새로운 통찰: 기존 비전 트랜스포머와 달리, 확산 모델의 자기 주의 맵은 노이즈 제거 과정에서 일시적이지만 신뢰할 수 있는 인스턴스 레벨 구조를 드러낸다는 것을 발견했습니다.
새로운 프레임워크 (TRACE): 주석 없이 인스턴스 경계를 발견하기 위한 IEP와 ABDiv 두 가지 핵심 아이디어를 통합했습니다.
성능 향상 및 효율성:
- 비지도 인스턴스 분할: 기존 베이스라인 대비 +4.4 AP 향상 (런타임 오버헤드 6% 만 추가).
- 약지도 팬옵틱 분할: 이미지 레벨 태그만 사용하여 포인트 주석 기반 베이스라인을 +1.7 PQ 이상 상회 (VOC 2012 에서 최대 +7.1 PQ).
- 속도: 확산 역전환 (Inversion) 없이 81 배 빠른 추론 속도를 달성합니다.

4. 실험 결과 (Results)

COCO 및 VOC 벤치마크: TRACE 는 COCO 에서 비지도 인스턴스 분할 성능을 +5.1 AP만큼 향상시켰으며, 태그 기반 팬옵틱 분할에서는 포인트 주석 기반 방법들보다 우수한 성능을 보였습니다.
SAM (Segment Anything Model) 과의 결합: TRACE 가 생성한 엣지를 SAM 의 시드 (Seed) 로 사용할 경우, 오픈 보카불러리 (Open-vocabulary) 탐지기들을 크게 능가하는 성능을 보였습니다.
확산 모델의 우위: 비확산 모델 (DINO, CLIP, LLaVA 등) 에서는 인스턴스 분리가 어렵지만, 확산 모델 (SD1.5, SDXL, SD3.5 등) 에서만 IEP/ABDiv 가 효과적으로 작동함을 실험적으로 증명했습니다.
기존 엣지 감지기와의 비교: Canny, HED, PiDiNet 등 기존 엣지 감지기는 텍스처나 조명 변화에 민감하여 인스턴스 경계 탐지에는 적합하지 않았으나, TRACE 는 ODS 0.889라는 압도적인 정확도를 기록했습니다.

5. 의의 및 결론 (Significance)

주석 없는 분할의 새로운 패러다임: TRACE 는 고비용의 인스턴스 주석 없이도 확산 모델의 내재된 생성적 사전 지식 (Generative Priors) 을 활용하여 정밀한 인스턴스 분할을 가능하게 합니다.
확장성: 이 방법은 특정 도메인에 종속되지 않으며, 다양한 확산 아키텍처에 적용 가능합니다.
실용성: 81 배 빠른 추론 속도와 높은 정확도로 인해 자율 주행, 의료 영상, 오픈 보카불러리 분할 등 다양한 실제 응용 분야에서 주석 비용을 획기적으로 줄일 수 있는 실용적인 대안이 됩니다.

결론적으로, TRACE 는 "확산 모델은 사실 비밀리에 인스턴스 엣지 감지기이다"라는 가설을 입증하고, 이를 통해 주석 없는 고품질 분할을 실현하는 획기적인 방법론을 제시합니다.

TRACE: Your Diffusion Model is Secretly an Instance Edge Detector