Inpainting Insights: Elevating Visual XAI with Photorealistic Perturbations
이 논문은 전통적인 픽셀 기반 섭동(perturbation)을 생성적 인페인팅(generative inpainting)으로 대체함으로써, 머신러닝 모델에 대한 시각적 설명의 품질과 신뢰성을 크게 향상시키는 사실적이고 분포 내에 있는(in-distribution) 샘플을 생성하여 LIME 설명 가능성 방법론을 개선하는 것을 제안한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신이 초지능 로봇이 세상을 어떻게 보는지 알아내려고 노력하고 있다고 상상해 보세요. 당신이 로봇에게 "이 사진이 왜 개처럼 보이는 거야?"라고 묻자, 로봇은 "귀 때문이에요!"라고 답합니다. 하지만 로봇이 단순히 이상한 그림자나 특정 색상 때문에 그렇게 대답하는 것이 아니라는 것을 어떻게 알 수 있을까요? 이것이 바로 **설명 가능한 AI (Explainable AI, XAI)**의 세계입니다. 이는 인공지능이라는 "블랙박스" 내부를 들여다보고 실제로 어떤 일이 일어나고 있는지 확인하기 위해 전념하는 분야입니다. 이를 수행하는 인기 있는 방법 중 하나는 **섭동(perturbation)**이라고 불리는 것입니다. 이것은 사진을 가지고 "만약 ~라면 어떨까?"라는 게임을 하는 것과 같습니다. 우리는 이미지의 일부—예를 들어 개의 귀나 꼬리—를 가려보고 로봇에게 "이 부분을 가려도 여전히 이것을 개라고 인식하나요?"라고 묻습니다. 만약 당신이 귀를 가렸을 때 로봇이 갑자기 개를 인식하지 못한다면, 당신은 귀가 중요하다는 것을 알게 됩니다.
하지만 여기에는 함정이 있습니다. 만약 당신이 단순히 크고 못생긴 회색 사각형으로 귀를 가린다면, 당신은 로봇의 개의 이해도를 테스트하는 것이 아니라 거대한 회색 덩어리에 대한 로봇의 반응을 테스트하게 되는 것입니다. 로봇은 이 부자연스러운 사각형 때문에 혼란을 느껴 잘못된 답을 내놓을 수 있으며, 이는 무엇이 중요한지에 대해 잘못된 설명을 제공할 수 있습니다. 이 논문은 바로 이 문제를 다룹니다. 저자들은 지루하고 가짜인 회색 사각형을 사용하여 이미지의 일부를 숨기는 대신, 빠진 부분을 그 자리에 어울리는 현실적이고 사진처럼 정교한 디테일로 채워주는 "매직 지우개"를 사용해야 한다고 제안합니다. 이렇게 하면 로봇은 이상한 인공물(artifact) 때문이 아니라 오직 사라진 물체 때문에 혼란을 느끼게 되어, 로봇이 실제로 무엇을 보고 있는지에 대해 훨씬 더 명확한 답을 얻을 수 있습니다.
문제점: 못생긴 사각형과 혼란에 빠진 로봇
컴퓨터 비전의 세계에서 AI 모델은 사물을 포착하는 데 매우 뛰어나지고 있지만, 동시에 이해하기는 점점 더 어려워지고 있습니다. 이를 해결하기 위해 연구자들은 LIME(Local Interpretable Model-agnostic Explanations)과 같은 도구를 사용합니다. LIME은 이미지를 가져와서 "슈퍼픽셀(superpixel)"이라고 불리는 작은 퍼즐 조각들로 나눈 다음, 그 조각들 중 일부를 숨겨서 AI의 예측이 어떻게 변하는지 관찰하는 방식으로 작동합니다.
조각을 숨기는 전통적인 방식은 그 위에 회색이나 검은색 같은 단색을 칠해 덮어버리는 것입니다. 이 논문의 저자들은 이것이 마치 케이크의 프로스팅(크림)을 콘크리트 블록으로 교체하여 요리사가 케이크를 인식하는 능력을 테스트하려는 것과 같다고 주장합니다. 콘크리트는 케이크의 일부가 아니며, 자연스러운 모습도 아닙니다. AI가 이 "콘크리트"를 보게 되면, 케이크와는 상관없는 예측을 내놓으며 당황할 수 있고, 이는 혼란스러운 설명을 초래할 수 있습니다.
이 논문은 이러한 "못생긴 사각형"(결정론적 폐쇄, deterministic occlusion)이 자주 실패한다는 것을 보여줍니다. 예를 들어, 반창고 이미지를 이용한 테스트에서, 회색 사각형이나 다른 단순한 색상 교체를 사용하는 표준 방식들은 반창고를 가장 중요한 부분으로 식별하는 데 완전히 실패했습니다. 그들은 자신들이 만들어낸 부자연스러운 회색 덩어리에 너무 정신이 팔려 있었습니다.
해결책: "매직 인페인팅(Magic Inpainting)" 기술
이 문제를 해결하기 위해 저자들은 LILI(Leveraging Inpainting for Local Interpretability)라는 새로운 방법을 소개합니다. LILI는 숨겨진 퍼즐 조각들을 회색 페인트로 칠하는 대신, LaMa라는 생성형 AI 모델을 사용하여 이미지를 "인페인팅(inpainting)"합니다.
인페인팅은 사진의 구멍을 보고 주변 환경을 바탕으로 그 자리에 있어야 할 것을 정확하게 그려내는 매우 재능 있는 화가와 같습니다. 만약 당신이 반창고를 숨긴다면, LaMa는 회색 사각형을 넣는 것이 아니라, 반창고 주변의 피부와 똑같이 보이는 피부 패치를 그려 넣습니다. 이를 통해 "사진처럼 정교한 섭동(photorealistic perturbation)"이 만들어집니다. AI 모델은 자연스러운 이미지를 보게 되며, 단지 반창고만 사라졌을 뿐입니다. 이는 AI가 이상한 회색 사각형에 반응하는 것이 아니라, 실제 반창고가 무엇인지에 대한 자신의 지식에 의존하도록 강제합니다.
하지만 두 번째 문제가 있었습니다. 마법 같은 화가를 사용하더라도, 숨겨진 영역의 가장자리에 미세하고 눈에 보이지 않는 단서(인공물)가 남아 AI가 이를 감지할 수도 있었습니다. 이를 해결하기 위해 저자들은 "마스크 확장(mask expansion)" 단계를 추가했습니다. 만약 당신이 단순히 반창키를 숨기는 것에 그치지 않고, 그 주변의 피부도 아주 조금 함께 숨긴다고 상상해 보세요. 이는 마법의 화가가 전체 영역을 새로운 배경 피부로 채워 넣어, 원래의 물체에 대한 어떤 흔적도 완전히 지워버리도록 보장합니다.
연구 결과: 현실성이 승리하다
연구팀은 LIME(회색 사각형 사용)과 이전의 시도였던 다른 인페인팅 모델인 DeepFill을 사용한 LIME-G를 대상으로 LILI를 테스트했습니다. 그들은 ImageNet 데이터셋의 이미지들을 사용하여, 사물을 인식하는 표준 AI 모델인 InceptionV3를 통해 수백 번의 테스트를 수행했습니다.
1. 이미지가 더 좋아졌습니다
저자들은 생성된 가짜 이미지가 얼마나 "실제"와 유사한지 측정하기 위해 **프레셰 인셉션 거리(Fréchet Inception Distance, FID)**라는 점수를 사용했습니다. 점수가 낮을수록 가짜 이미지가 실제 사진과 더 유사함을 의미합니다.
- 기존 LIME 방식(회색 사각형)은 30.532를 기록했습니다.
- 이전의 인페인팅 방식(DeepFill을 사용한 LIME-G)은 56.524를 기록했습니다 (이는 모델 성능이 떨어져 예상보다 나쁜 점수였습니다).
- 새로운 LILI 방식은 6.727을 기록했습니다.
이 엄청난 점수 하락은 LILI가 실제 데이터 분포에 훨씬 더 가까운 이미지를 생성한다는 것을 증명합니다. LILI가 만든 이미지는 회색 덩어리가 붙은 사진이 아니라 자연스럽게 보입니다.
2. 설명이 더 정확합니다
설명이 실제로 더 나은지 확인하기 위해 "살리언시 지표(saliency metric)"를 사용했습니다. 이는 설명이 이미지의 가장 중요한 부분을 얼마나 잘 강조하는지 측정하며, 점수가 낮을수록 좋습니다.
- LILI는 3-픽셀 마스크 확장을 적용했을 때 가장 좋은 점수를 얻었으며, 기존의 LIME과 LIME-G 방식을 모두 앞질렀습니다.
- 예를 들어, 반창고 예시에서 오직 LILI만이 반창고를 가장 중요한 특징으로 정확히 식별했습니다. 다른 방식들은 배경이나 인공물에 의해 주의가 분산되었습니다.
3. 안정성과 속도
연구진은 설명이 일관적인지도 확인했습니다. 테스트를 열 번 실행했을 때 동일한 답을 얻을 수 있을까요?
- 기존 LIME이 가장 안정적이었으며(일치도 점수 0.889), LILI가 그 뒤를 바짝 쫓았습니다(0.852).
- LIME-G는 덜 안정적이었습니다(0.723).
- 저자들은 LILI가 기존의 회색 사각형 방식보다 약간 덜 안정적이라고 언급했습니다. 그 이유는 "마법의 화가"(LaMa)가 마스크의 형태에 따라 때때로 약간씩 다른 배경을 그릴 수 있기 때문입니다. 하지만 이는 올바른 답을 얻기 위해 치러야 할 작은 대가입니다.
- 속도 측면에서 LILI는 시간이 조금 더 걸립니다. 기존 LIME은 이미지당 약 4.4초가 걸린 반면, LILI는 약 12.5초가 걸렸습니다. 이는 "마법의 화가"가 누락된 부분을 그리는 데 추가적인 작업을 수행해야 하기 때문이지만, 확산 모델(diffusion models)을 사용하는 다른 고도의 기술적 방법들에 비하면 여전히 훨씬 빠릅니다.
결론
본 논문은 못생기고 가짜인 회색 사각형을 대신하여 현실적인 AI 생성 배경 채우기를 사용함으로써, AI가 세상을 보는 방식에 대해 훨씬 더 나은 설명을 얻을 수 있다고 결론짓습니다. LILI 방식은 사진처럼 정교한 섭동이 AI가 학습된 방식과 더 잘 부합하며, 결과적으로 더 신뢰할 수 있는 결과를 낳는다는 것을 시사합니다. 비록 계산량이 더 많이 들고 인공물의 흔적을 남기지 않기 위해 "마스크 확장"에 대한 세심한 조정이 필요하지만, 그 가치는 충분합니다. 저자들은 이 접근 방식이 특히 부자연스러운 인공물로 인한 혼란 없이 컴퓨터가 왜 그런 결정을 내렸는지 정확히 알아야 하는 상황에서, 우리가 AI를 더 신뢰할 수 있도록 도와준다고 제안합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.