Accuracy and Robustness of Model Cascades Under Data Perturbations

인공지능의 세계에는 컴퓨터 프로그램이 얼마나 똑똑해질 수 있는지와 그것을 실행하는 데 얼마나 많은 에너지가 드는지 사이의 점점 커지는 긴장이 존재합니다. 이러한 시스템이 더욱 강력해짐에 따라 막대한 양의 전력을 소비하게 되며, 이는 환경적 발자국에 대한 우려를 불러일으킵니다. 이를 해결하기 위해 엔지니어들은 '예측 캐스케이드(prediction cascade)'라고 불리는 전략을 개발했습니다. 가볍고 빠른 보조원이 간단한 업무를 처리하고, 가장 어렵거나 혼란스러운 경우에만 상급 전문가에게 업무를 전달하는 팀을 상상해 보십시오. AI의 맥맥락에서 이는 작은 규모의 에너지 효율적인 모델이 먼저 질문에 답을 시도하는 것을 의미합니다. 만약 이 모델이 자신의 답변에 매우 확신을 느낀다면, 그 단계에서 멈춥니다. 만약 확신이 없다면, 훨씬 더 크고 강력한 모델로 작업을 넘깁니다. 이 방식은 데이터가 깨끗하고 명확할 때 아름답게 작동하며, 높은 정확도를 유지하면서도 시스템이 엄청난 양의 에너지를 절약할 수 있게 해줍니다.

하지만 현실 세계는 결코 깨끗하지 않습니다. 카메라로 촬영된 이미지는 흐릿하거나, 노이즈가 있거나, 악천후로 인해 왜곡될 수 있으며, 이러한 불완전함은 가장 똑똑한 알고리즘조차 혼란에 빠뜨릴 수 있습니다. AUMOVIO AI Lab과 베를린 응용과학대학교 연구진의 새로운 연구는 입력 데이터가 저하될 때 이러한 에너지 절약형 캐스케이드에 어떤 일이 일ر어지는지 조사합니다. 연구진은 이미지가 손상되었을 때 작업을 전문가에게 전달할 시점을 결정하는 시스템의 능력이 여전히 신뢰할 수 있는지를 알고 싶어 했습니다. 연구진은 표준 이미지 데이터셋을 대상으로 정적 노이즈와 블러(흐림)부터 카메라 흔들림이나 날씨 악화 등을 모사하는 순차적 변화에 이르기까지 다양한 유형의 손상을 가하며 시스템을 테스트했습니다.

연구 결과, 이러한 캐스케이드가 완벽한 데이터에서는 효율적이지만, 데이터가 불완전할 때는 뚜렷한 실패 모드에 직면한다는 사실이 밝혀졌습니다. 연구진은 시스템의 동작이 작업의 복잡도에 크게 의존한다는 것을 발견했습니다. 선택해야 할 범주가 적은 더 단순한 작업의 경우, 이미지가 손상되더라도 대규모 전문가 모델은 문제를 해결하는 데 여전히 상당히 유능합니다. 이 시나리오에서의 실패는 작은 보조 모델로부터 발생합니다. 손상이 보조 모델의 확신 체계를 혼란스럽게 만들어, 틀린 답을 너무 쉽게 수용하거나 너무 많은 쉬운 과업을 전문가에게 넘겨 에너지 절감 효과를 낭비하게 만듭니다. 이 경우, 시스템은 전문가가 무능해서가 아니라 라우팅 메커니즘이 무너졌기 때문에 실패하는 것입니다.

범주가 훨씬 더 많은 더 복잡한 작업의 경우, 상황은 더 심각합니다. 여기서 손상은 작고 가벼운 보조 모델과 거대한 전문가 모델 모두의 성능을 저하시킬 만큼 치명적입니다. 이미지가 심하게 손상되면 전문가 모델 자체도 정답을 찾는 데 어려움을 겪습니다. 이 시나리오에서 캐스케이드는 정확도를 회복할 수 없는데, 왜냐하면 보완책(fallback option)인 전문가 모델이 더 이상 신뢰할 수 없기 때문입니다. 이 경우 시스템은 소형 모델의 실수를 큰 모델이 바로잡을 수 있다는 이 전략의 근간 자체가 사라졌기 때문에 붕괴됩니다.

연구진은 또한 영상처럼 프레임이 진행됨에 따라 손상이 점진적으로 발생하는 경우 시스템이 어떻게 행동하는지도 살펴보았습니다. 그들은 기만적인 패턴을 발견했습니다. 이미지가 점차 왜곡됨에 따라 시스템은 오히려 결정이 더 안정적이 되어, 한 프레임에서 다음 프레임으로 넘어갈 때 급격한 변화를 덜 보이게 됩니다. 그러나 이 안정성은 환상입니다. 시스템은 어려운 사례를 전문가 모델로 보내는 것을 중단하고, 저하된 작은 모델에 의존하게 됩니다. 그 결과, 일관되기는 하지만 점점 더 틀려가는 예측의 흐름이 나타납니다. 시스템은 차분하고 안정적으로 보이지만, 실제로는 안전망을 사용하지 않고 있는 것입니다.

궁극적으로 이 연구는 이러한 캐스케이드의 효율성이 취약하다는 것을 보여줍니다. 연구진은 시스템이 두 가지 주요 방식으로 실패할 수 있음을 확인했습니다. 즉, 모델 전환을 결정하는 신호가 손상되어 전문가는 건재하지만 라우팅이 잘못되는 경우, 혹은 손상이 너무 심각하여 전문가 모델 자체가 실패하는 경우입니다. 그들은 이러한 실패 유형이 분류 작업의 난이도에 따라 달라진다는 것을 발견했습니다. 더 단순한 문제의 경우 시스템이 올바르게 경로를 지정하지 못하는 위험이 있고, 더 어려운 문제의 경우 시스템 전체가 문제를 해결하는 능력을 상실하는 위험이 있습니다. 저자들은 이러한 에너지 절약 도구를 책임감 있게 사용하기 위해서는, 완벽한 데이터에서 얼마나 잘 수행되는지뿐만 아니라 세상이 엉망이 되었을 때 얼마나 신뢰할 수 있게 결정을 라우팅하는지를 반드시 평가해야 한다고 결론지었습니다. 이러한 이해 없이는 지속 가능하고 효율적인 AI의 약속은 입력 데이터가 변하는 순간 사라져 버릴 것입니다.