Attention-Guided Stroke Location Inversion for Explainable Sketch Recognition

인간은 문자가 발명되기 훨씬 전부터 의사소통을 위해 그림을 그려왔습니다. 스케치는 단순히 세상을 담은 수동적인 그림이 아니라, 능동적이고 의도적인 선택의 연속입니다. 예술가가 자전거를 그릴 때, 모든 세부 사항을 한꺼번에 포착하지 않습니다. 대신, 바퀴를 위한 원, 프레임을 위한 선과 같이 특정한 획을 선택하고, 대상을 인식 가능하게 만들기 위해 특정 순서로 배치합니다. 의미가 일련의 불연서적인 단계들을 통해 구축되는 이러한 독특한 사고 방식은 인간이 시각적 정보를 처리하는 방식을 보여주는 드문 창을 제공합니다. 수십 년 동안 과학자들은 이러한 그림을 이해할 수 있는 컴퓨터를 만들기 위해 노력해 왔지만, 더 깊은 과제가 남아 있습니다. 어떻게 하면 이 기계들이 인간이 신뢰할 수 있는 방식으로 자신의 추론 과정을 설명하게 만들 수 있을까요? 이것이 바로 '설명 가능한 인공지능(XAI)'이라 불리는 분야의 목표입니다. 연구자들이 사진이나 텍스트에 관한 컴퓨터의 결정을 설명하는 데는 큰 진전을 이루었지만, 손으로 그린 스케치의 세계는 여전히 미지의 영역으로 남아 있습니다. 스케치의 획은 희소하고 순차적이어서, 밀도가 높고 연속적인 이미지를 사용하는 데 쓰이는 도구들로는 분석하기 어렵기 때문입니다.

데브레첸 대학교와 얀산 대학교 연구진의 최근 연구는 컴퓨터가 그림의 어느 부분이 가장 중요한지 결정하는 방법을 조사함으로써 이 문제를 다룹니다. 연구팀은 스케치를 역설계(reverse-engineer)하려고 시도하는 기존의 방법에서 시작했습니다. 만약 자전거를 인식하도록 훈련된 컴퓨터가 있다고 상상해 보십시오. 만약 당신이 무작위로 뒤섞인 선들을 준다면, 이 방법은 컴퓨터가 자전거를 보고 있다고 확신할 때까지 그 선들을 이리저리 움직입니다. 기존 방식은 그림 속의 모든 선을 동일하게 중요한 것으로 취급하여 모든 선을 같은 속도로 움직였습니다. 연구진은 이것이 비효те적이라고 가설을 세웠습니다. 인간 예술가가 가장 결정적인 특징에 먼저 집중하는 것처럼, 컴퓨터 또한 자신의 결정에 가장 중요한 획에 우선순위를 두어야 한다고 믿었습니다. 이를 테스트하기 위해, 그들은 컴퓨터의 '두뇌', 구체적으로는 입력값의 서로 다른 부분에 중요도 점수를 자연스럽게 할당하는 층(layer) 내부를 들여다보았고, 그 점수들을 사용하여 선의 움직임을 유도하고자 했습니다.

연구진은 먼저 모든 선의 속도를 중요도 점수에 따라 조절하는 간단한 접근 방식을 시도했습니다. 만약 어떤 선이 매우 중요하다고 판단되면 더 빠르게 움직이게 하고, 덜 중요한 선은 더 느리게 움직이게 하는 방식이었습니다. 그러나 다양한 그림에 걸쳐 이 아이디어를 엄격하게 테스트했을 때, 결과는 일관되지 않았습니다. 때로는 이 방법이 과정을 가속화하며 잘 작동하기도 했지만, 어떤 경우에는 컴퓨터를 더 느려지게 하거나 혼란스럽게 만들기도 했습니다. 연구팀은 이러한 단순하고 연속적인 조정이 데이터의 작은 변화에 너무 민감하다는 것을 깨달았습니다. 이는 마치 물 위의 아주 작은 잔물결에도 끊임없이 키의 각도를 바꾸며 배를 조종하려는 것과 같았습니다. 신호가 너무 노이즈가 심해 신뢰할 수 없었던 것입니다.

굴하지 않고, 연구팀은 접근 방식을 개선했습니다. 모든 선의 속도를 미세하게 조정하는 대신, 가장 중요한 상위 30%의 획에만 집중하기로 했습니다. 이 핵심적인 선들에 대해서는 올바른 위치로 빠르게 이동하도록 고정된 강한 추진력을 가하는 한편, 나머지 선들은 표준 속도로 움직이도록 남겨두었습니다. 결정적으로, 그들은 이 추가적인 속도가 그림이 정답에 가까워질수록 점진적으로 사라지도록 하는 규칙을 추가하여, 컴퓨터가 최종 이미지를 지나치거나 흔들어 놓지 않도록 보장했습니다. 이 새로운, 더 절제된 방식은 성공적이었습니다. 표준적인 컴퓨터 최적화 도구들과 비교했을 때, 이 새로운 방식은 더 적은 단계만으로도 올바른 선의 배치를 일관되게 찾아냈습니다. 평균적으로 이 퍼즐을 푸는 데 단 10단계만이 필요했던 반면, 표준 도구들은 19단계 또는 24단계까지 필요했습니다. 게다가 이 방법으로 만들어진 최종 스케치는 선들이 서로의 위치와 관련하여 오차가 더 적어 더욱 정확했습니다.

이 연구는 이 방법이 이론적으로만 빠른 것이 아니라 실제적으로도 빠르다는 것을 보여주었습니다. 비록 새 방법이 각 단계마다 약간 더 복잡한 계산을 요구함에도 불구하고, 전체 단계 수가 훨씬 적어졌기 때문에 문제를 해결하는 데 걸리는 총 시간은 거의 31% 감소했습니다. 이러한 효율성은 속도가 중요한 실제 응용 분야에서 매우 중요합니다. 연구진은 다른 과학자들이 자신들이 빠졌던 함정에 빠지지 않고 연구 결과를 재현할 수 있도록, 첫 번째 아이디어의 실패를 포함한 전체 여정을 투명하게 보고했습니다. 컴퓨터가 스케치의 가장 결정적인 부분을 우선순위에 두는 법을 학습하여 자신의 사고 과정을 설명할 수 있음을 증명함으로써, 이 연구는 기계가 인간의 표현을 이해하는 더 명확하고 효율적인 경로를 제시합니다. 이는 우리가 그림을 그리는 독특한 단계별 방식을 존중함으로써, 인공지능이 더 똑똑해질 뿐만 아니라 세상을 보는 방식에 대해서도 더 투명하게 만들 수 있음을 보여줍니다.