How Do Diffusion Classifiers Decide? A Bias-Centric Evaluation

당신에게 두 종류의 서로 다른 "AI 탐정"이 미스터리를 해결하려는 상황을 상상해 보십시오: "이 사진 안에 무엇이 있는가?"

한 명의 탐정은 시각-언어 모델(Vision-Language Model) (예: OpenCLIP)입니다. 이 탐정은 수백만 권의 책을 읽고 수백만 장의 사진을 본 노련한 사서와 같습니다. 사진과 설명 목록을 보고, 단어와 이미지가 보통 어떻게 어우러지는지 학습한 내용을 바탕으로 빠르게 매칭합니다.

다른 한 명의 탐정은 **디퓨전 분류기(Diffusion Classifier)**입니다. 이 탐정은 조금 다릅니다. 단순히 매칭하는 대신, 설명을 바탕으로 머릿속에서 사진을 재구성하려고 시도합니다. 이 탐정은 다음과 같이 자문합니다. "내가 '빨간 자동차'라는 설명을 사용해 이 사진을 그리려고 할 때, 이것을 제대로 만들기 위해 얼마나 많은 노력(또는 '노이즈')을 들여야 할까?" 가장 적은 '노력'을 들여 재구성할 수 있는 설명이 승자가 됩니다.

**"How Do Diffusion Classifiers Decide? A Bias-Centric Evaluation"**이라는 제목의 이 논문은 이 두 탐정을 테스트하기 위한 일종의 스트레스 테스트입니다. 저자들은 이 AI 탐정들이 어디에서 혼란을 느끼고, 속임수에 빠지며, 잘못된 추측을 하는지 알아보기 위해 ASOB-Bench라는 새로운 테스트 환경을 구축했습니다. 그들은 AI가 편향될 수 있는 세 가지 구체적인 방식에 집중했습니다.

1. "뒤섞임" 테스트 (속성 결합 - Attribute Binding)

시나리오: 빨간 딸기와 노란 바나나가 있는 사진.
질문: "어떤 것이 빨간 과일인가?"

• 사서 (OpenCLIP): 가끔 혼란을 겪습니다. 딸기는 보통 빨간색이고 바나나는 노란색이라는 것을 알고 있기 때문에, 만약 노란 바나나를 보게 되면 바나나가 거기 있다는 이유만으로 딸기가 노란색이라고 착각할 수도 있습니다. 이는 마치 어떤 사람이 노란 셔츠와 빨간 모자를 보고 "누가 빨간색을 입었나?"라는 질문을 받았을 때, 노란색에 너무 몰입한 나머지 실수로 노란 셔츠를 입은 사람을 가리키는 것과 같습니다.
• 재구성가 (Diffusion Classifier): 사실 이 부분에서는 더 잘합니다. 사진을 재구성하려고 할 때, 만약 딸기를 노란색으로 칠하면 전체 그림이 이상해지고 이를 바로잡기 위해 많은 "노력"이 필요하다는 것을 깨닫습니다. 따라서 더 정확한 답을 고수합니다.
• 함정: 논문은 재구성가의 성공이 부분적으로는 "딸기는 빨간색이고 바나나는 노란색이다"라는 규칙을 너무 잘 학습하여 방해 요소를 무시하기 때문임을 발견했습니다. 하지만 만약 보라색 바나나(부자연스러운 색상)를 보여주면, 재구성가는 자신의 "규칙"이 깨졌기 때문에 다시 혼란에 빠집니다.

2. "크고 작음" 테스트 (크기-순서 편향 - Size-Order Bias)

시나리오: 작은 생쥐와 거대한 코끼리가 있는 사진.
질문: "사진 속에 생쥐가 있는가?"

• 사서: 사진 전체를 봅니다. 생쥐를 발견하고 "예"라고 답합니다.
• 재구성가: 이 지점이 재구성가가 실수를 범하는 곳입니다. 기억하십시오, 재구성가는 어떤 설명이 그림을 그리기에 가장 쉬운가를 통해 승패를 결정합니다.
  • 만약 설명이 "작은 생쥐와 거대한 코끼리"라면, 재구성가는 거대한 코끼리를 완벽하게 그려내야 합니다.
  • 만약 설명이 "작은 생쥐와 작은 코끼리"(틀린 설명)로 바뀐다면, 재구성가는 작은 코끼리만 수정하면 됩니다.
  • 트릭: 코끼리가 매우 크기 때문에, 코끼리의 크기를 수정하는 데 드는 "노력"이 점수를 지배하게 됩니다. 재구성가는 거대한 코끼리가 전체 "노력 예산"을 너무 많이 차지하기 때문에 작은 생쥐를 무시합니다. 이는 마치 배경의 거대한 산을 제대로 그리는 데 너무 정신이 팔려 전경의 작은 꽃을 그리는 것을 잊어버린 화가와 같습니다. 논문은 재구성가가 사서보다 이 부분에서 훨에는 못히 떨어진다는 것을 발견했습니다.

3. "배경 vs 전경" 테스트 (배경 의존성 - Background Dependency)

시나리오: 해변에 앉아 있는 개.
질문: "이것은 개인가?"

• 사서: 개를 봅니다. 해변을 숲이나 도시로 바꾸더라도 여전히 개를 식별합니다.
• 재구성가: 이것이 재구성가의 가장 큰 약점입니다. 이 모델은 배경에 크게 의존합니다.
  • 해변에 개가 있으면, 재구성가는 "아, 개는 해변에 어울려. 그리기 쉽네"라고 생각합니다.
  • 똑같은 개를 설산에 보여주면, 재구성가는 혼란에 빠집니다. "잠깐, 이건 내 학습 내용과 달라. 배경이 틀렸어, 그러니 전체 그림이 틀린 거야"라고 생각합니다.
  • 논문은 배경을 완전히 제거했을 때(흰 배경 위의 개), 재구성가의 정확도가 크게 떨어지는 반면 사서는 강점을 유지한다는 것을 발견했습니다. 재구성가는 정답지(객체)만 외우는 것이 아니라 교과서의 페이지 전체(배경 풍경 포함)를 통째로 암기한 학생과 같습니다.

종합적인 그림

저자들은 AI가 어디를 보고 있는지 확인하기 위해 "히트맵"(열화상 카메라와 같은 것)을 사용했습니다. 그들은 다음과 같은 사실을 발견했습니다:

• 속성(색상/모양)에 대해: 재구성가는 다른 물체에 의해 속는 것에 대해 꽤 잘 대처하지만, "고정관념"(예: 딸기는 빨간색이다)에 너무 의존합니다.
• 크기와 순서에 대해: 재구성가는 큰 물체에 쉽게 압도됩니다. 방 안에서 가장 큰 것에 집중하며 나머지는 무시합니다.
• 배경에 대해: 재구성가는 배경에 집착합니다. 객체와 그 환경을 분리하지 못합니다.

결론:
이 논문은 어떤 AI가 전체적으로 "더 낫다"고 말하는 것이 아닙니다. 대신, 그들은 서로 다른 성격을 가지고 있다고 말합니다.

• 사서는 큰 방해 요소는 잘 무시하지만, 가끔 어떤 물체가 어떤 색인지 섞어서 파악하기도 합니다.
• 재구성가는 색상 규칙을 지키는 데는 뛰어나지만, 큰 물체와 배경 풍경에 쉽게 압도됩니다.

저자들은 이 재구성가 AI들이 이미지를 분류할 뿐만 아니라 생성하는 데도 사용되기 때문에, 이러한 실수들이 이미지를 그릴 때도 발생할 수 있다고 경고합니다. 만약 우리가 "작은 코끼리"를 그려달라고 요청한다면, 이 모델은 코끼리를 항상 장면에서 가장 큰 것으로 그리는 데 익숙해져 있기 때문에 거대한 코끼리를 그릴 수도 있습니다.

요약하자면: 단순히 최종 점수(정확도)만 보지 마십시오. AI가 언제 실패할지 알기 위해서는 그 AI가 어떻게 생각하는지를 이해해야 합니다.