DiffImaginE: Imagine to Verify Entity Types with Diffusio

당신이 붐비는 방 안에서 미스터리를 풀려고 노력하고 있다고 상상해 보세요. 당신은 한 사람을 보았지만, 그가 유명한 배우인지, 지역 정치인인지, 아니면 그냥 평범한 관광객인지 확신할 수 없습니다. 인공지능의 세계에서는 이를 "개체명 인식(Named Entity Recognition)"이라고 부릅니다. 여기에 사진이라는 요소가 더해져서—예를 들어 그 사람 옆에 레드카펫이나 선거 포스터가 보이는 것과 같이—"멀티모달 개체명 인식(Multimodal Named Entity Recognition)"이 됩니다. 목표는 텍스트와 이미지를 모두 사용하여 올바른 범주를 추측하는 것입니다. 하지만 여기서 까다로운 점은, 같은 단어라도 시각적 단서에 따라 매우 다른 의미를 가질 수 있다는 것입니다. "조던(Jordan)"이라는 사진은 농구 선수일 수도, 신발 브랜드일 수도, 혹은 지명일 수도 있습니다. AI는 단순히 추측만 하는 것이 아니라, 자신의 추측이 증거와 일치하는지 실제로 확인하는 탐정이 되어야 합니다.

오랫동안 AI 탐정들은 "상상(imagination)"이라는 방법을 사용해 왔습니다. 그들은 단어와 범주를 본 다음, 그 범주가 마땅히 보여야 할 모습에 대한 단 하나의 완벽한 사진을 상상했습니다. 만약 실제 사진이 그 상상된 사진과 조금이라도 닮았다면, AI는 "네, 맞아요!"라고 말했습니다. 하지만 이 방식에는 결함이 있습니다. 너무 경직되어 있다는 점입니다. "사람"은 얼굴일 수도 있고, 실루엣일 수도 있으며, 멀리 떨어져 있는 누군가일 수도 있습니다. 단 하나의 완벽한 버전만을 상상하는 것은 다른 모든 가능성을 놓치게 만들며, 이로 인해 AI는 현실 세계가 복잡해질 때 취약해집니다. 이 새로운 논문인 DiffImaginE는 이 추측 게임을 수행하는 더 똑똑한 방법을 제안합니다. 정적인 사진 하나를 상상하는 대신, 이 AI는 "디퓨전(diffusion)" 프로세스—AI가 무작위 노이즈로부터 선명한 이미지를 만들어내듯 노이즈를 서서히 제거하며 예술 작품을 생성하는 기술과 유사한 기법—를 사용합니다. 노이즈로부터 역으로 작업함으로써, AI는 하나의 고정된 스냅샷이 아닌, 한 범주가 가질 수 있는 전체 범위를 이해할 수 있습니다.

"일률적인" 상상의 문제점

이 논문의 저자들은 기존의 방식이 마치 친구가 특정 모자를 쓰고 있을 때의 얼굴만 기억하여 친구를 알아보려는 것과 같다는 점을 발견했습니다. 만약 친구가 모자 없이 나타나거나 다른 모자를 쓰고 있다면, 당신의 오래된 정신적 이미지는 실패할 것입니다. 기술적인 용어로 설명하자면, 기존 모델들은 모든 유형의 개체(예: "사람" 또는 "조직")를 수학적 공간 내의 단 하나의 고정된 점에 매핑했습니다. 그들은 실제 이미지를 이 단일 지점과 비교했습니다. 만약 실제 이미지가 조금이라도 달랐다면—예를 들어 "사람"이 앞모습이 아닌 옆모습으로 보인다면—그 비교는 실패할 것이고 AI는 혼란에 빠질 것입니다.

논문은 이러한 "결정론적(deterministic)" 접근 방식이 너무 취약하다고 주장합니다. 이는 다양하고 풍부한 개체의 모습을 하나의 지루한 점으로 압축해 버립니다. 이는 마치 단 한 그루의 나무를 가리킴으로써 숲 전체를 설명하려는 것과 같습니다. 또한 기존 방식은 추측이 얼마나 '가능성 있는가'를 알려줄 수 없었습니다. 그저 이미지가 그 하나의 상상된 점과 얼마나 가까운지에 기반하여 점수를 매길 뿐이었습니다.

새로운 탐정: DiffImagIne

이를 해결하기 위해 팀은 DiffImaginE를 구축했습니다. 정적인 사진 하나를 상상하는 대신, 이 새로운 모델은 용의자의 여러 가지 다른 버전을 상상할 수 있는 탐정처럼 행동합니다. 이 모델은 노이즈(오래된 TV의 지지직거리는 화면 같은 것)를 제거하여 선명한 이미지를 드러내는 법을 배우는 AI의 한 종류인 "디퓨전(diffusion)" 모델을 사용합니다.

작동 방식은 다음과 같습니다:

1. 증거: AI는 문장 속의 특정 단어("스팬", span)와 그에 해당하는 이미지의 부분을 살펴봅니다.
2. 노이즈 테스트: 이미지를 단 하나의 완벽한 사진과 비교하는 대신, AI는 그 이미지에 무작위 "노이즈"를 추가하여 이미지를 흐릿하게 만듭니다.
3. 추측: 그다음 AI는 질문합니다. "만약 이 흐릿한 이미지가 '사람' 범주에 속한다면, 내가 노이즈를 얼마나 잘 제거하여 선명한 '사람'의 모습으로 되돌릴 수 있을까?" AI는 이를 가능한 모든 범주(사람, 장소, 조직 등)에 대해 시도합니다.
4. 점수: 노이즈를 가장 잘 "청소"해내는 범주가 가장 높은 점수를 받습니다. 만약 이미지가 실제로 "사람"이라면, "사람" 필터는 노이즈를 제거하는 데 매우 뛰어난 성능을 보일 것입니다. 만약 "조직" 필터를 사람 사진에 사용하려고 한다면, 노이즈를 제거하는 데 어려움을 겪을 것이고 점수는 낮아질 것입니다.

이는 거대한 변화입니다. "이것이 나의 단 하나의 완벽한 사람에 대한 생각과 닮았는가?"라고 묻는 대신, AI는 "어떤 범주가 이 지저치고 복잡한 실제 사진을 가장 잘 설명하는가?"라고 묻습니다. 이를 통해 AI는 "사람"이 얼굴, 뒷모습, 혹은 멀리 있는 형체 등 다양할 수 있다는 사실을 처리할 수 있는데, 이는 디퓨전 프로세스가 그 다양성을 이해하기 때문입니다.

연구 결과

연구진은 짧고 노이즈가 많은 텍스트와 이미지가 포함된 두 개의 유명한 소셜 미디어 데이터셋(Twitter-2015 및 Twitter-2017)을 통해 새로운 모델을 테스트했습니다. 그들은 검증 방법 외에는 AI의 두뇌와 훈련 방법이 정확히 동일하도록 설정하여, DiffImaginE를 기존의 "단일 지점 상상" 모델 버전과 비교했습니다.

결과는 DiffImaginE가 일관되게 더 나은 성능을 보였다는 것을 보여주었습니다. Twitter-2015 데이터셋에서 정확도 점수(F1)를 1.73 포인트 개선하여 **77.17%**에 도달했습니다. Twitter-2017에서는 0.72 포인트 개선하여 **88.44%**에 도달했습니다. 논문은 이러한 향상이 통계적으로 유의미하며, 이는 단순히 운에 의해 발생했을 가능성이 매우 낮음을 명시합니다.

이 모델은 특히 "사람(PER)"과 "조직(ORG)"을 인식하는 데 뛰어났습니다. 예를 들어, 시각적 단서가 까다로울 때 사람의 이름과 브랜드 이름을 구별하는 능력이 향상되었습니다. 저자들은 기존 방식이 시각적 증거가 다양하거나 노이즈가 많을 때 어려움을 겪었지만, 새로운 디퓨전 방식은 단일하고 경직된 이미지에 의존하지 않았기 때문에 그러한 조건에서 오히려 탁월한 성능을 발휘했다는 점을 발견했습니다.

이것이 왜 중요한가

이 논문은 모든 AI 문제를 해결했다고 주장하는 것이 아니라, AI가 시각적 모호성을 다루는 방식에 대한 명확한 방향을 제시하고 있습니다. 경직된 단일 지점의 추측을 유연한 확률 기반의 "노이즈 제거(denoising)" 프로세스로 대체함으로써, AI는 훨씬 더 견고해집니다. 이는 용의자가 특정 의상을 입었을 때만 알아볼 수 있는 탐정과, 용-의자가 무엇을 입고 어디에 서 있든 상관없이 식별할 수 있는 탐사의 차이와 같습니다.

저자들은 또한 "클래시파이어 프리 가이던스(classifier-free guidance)"라는 기술을 사용하여 AI의 확신을 날카롭게 다듬고, "안티테틱 샘플링(antithetic sampling)"을 사용하여 수학적 무작위성을 줄여 결과를 안정화함으로써 과정을 더욱 똑똑하게 만들 수 있음을 보여주었습니다. 이러한 미세 조정은 모델이 더 높은 정확도를 끌어내는 데 도움을 주었습니다.

요약하자면, DiffImaginE는 지저분한 현실 세계를 이해할 때는 단 하나의 완벽한 환상에 집착하기보다 전체 가능성의 스펙트럼을 상상하는 것이 더 낫다는 것을 증명합니다. 이 모델은 노이즈와 실제 이미지의 다양성을 수용함으로써 AI가 훨씬 더 나은 탐정이 될 수 있음을 시사합니다.