Unsupervised Incremental Learning Using Confidence-Based Pseudo-Labels
이 논문은 신뢰도 기반 의사 레이블을 활용하여 모델이 레이블이 없는 데이터로부터 새로운 클래스를 학습할 수 있도록 하는 비지도 클래스 점진적 학습 방법인 ICPL을 제안하며, 이는 미세 분류 데이터셋과 자원이 제한된 환경에서 실용성을 입증하는 동시에 최신 클래스 점진적 네트워크 없는 학습(class-iNCD) 방식보다 우수한 성능을 달성한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
인공지능의 세계에서 기계는 고양이 사진을 식별하는 것부터 질병을 진단하는 것에 이르기까지 패턴을 인식하는 데 놀라울 정도로 숙련되었습니다. 그러나 이러한 디지털 두뇌는 종종 알고 알아야 할 목록이 고정되어 있고 완전한 통제된 환경에서 훈련됩니다. 현실 세계의 상황은 훨씬 더 유동적입니다. 새로운 유형의 물체, 동물 또는 상황이 끊임없이 나타나며, 완전히 재학습하지 않고서는 이들에 대해 배울 수 없는 시스템은 효용성이 제한적입니다. 이 과제는 점진적 학습(incremental learning)이라고 알려져 있습니다. 목표는 모델이 이전에 배웠던 모든 것을 기억하면서 시간이 지남에 따라 새로운 범주를 가르치는 것이며, 이는 새로운 정보를 학습할 때 시스템이 기존 지식을 잃어버리는 '파괴적 망각(catastrophic forgetting)'이라는 현상으로 인해 복잡해집니다. 전통적으로 이를 해결하기 위해서는 인간이 모든 새로운 이미지에 올바른 이름을 일일이 라벨링하는 과정이 필요했는데, 이 과정은 느리고 비용이 많이 들며 자연이나 산업 현장에서 마주하는 끝없는 데이터의 흐름에 대응하기에는 확장성이 불가능한 경우가 많습니다.
탈레스(Thales)의 한 연구자는 이러한 학습 단계 동안 인간의 라벨링을 전혀 필요로 하지 않는 다른 발전 방향을 제안했습니다. 그들은 인공지능이 라벨이 없는 가공되지 않은 이미지만을 사용하여 새로운 클래스의 물체에 대해 스스로 학습할 수 있게 하는 ICPL이라는 방법을 개발했습니다. 시스템이 "이것은 새로운 종류의 새입니다"라는 인간의 말을 기다리는 대신, 시각적 특징을 바탕으로 유사한 이미지들을 함께 그룹화하여 이 그룹들에 대한 자신만의 임시 이름을 생성합니다. 연구자는 또한 시스템이 자신의 추측이 매우 정확하다고 확신할 때만 그 추측을 신뢰하도록 하는 안전 장치를 도입했습니다. 이 자기 라벨링 기술을 기존의 학습 프레임워크에 통합함으로써, 그들은 기계가 인간의 개입 없이도 오랫동안 새로운 것들을 계속해서 배울 수 있음을 보여주었습니다.
이 연구의 핵심은 이러한 시스템을 테스트하고 구축하는 방식의 특정 격차를 다룹니다. 라벨이 없는 데이터를 처리하는 이전 방식들은 대개 컴퓨터가 단순히 사물들을 그룹화하기만 할 뿐, 그 그룹이 실제와 일치하는지는 신경 쓰지 않는 단순한 클러스터링 작업으로 취급했습니다. 연구자는 이러한 접근 방식이 실제 응용 분야에서는 결함이 있다고 주장했는데, 왜냐하면 시스템이 기존 클래스와 새로운 클래스를 혼동하더라도 여전히 '정답'을 맞힌 것으로 간주될 수 있기 때문입니다. 예를 들어, 시스템이 새로운 유형의 자동차를 기존 유형의 자동차로 잘못 분류하거나 그 반대의 경우에도, 기존의 테스트 규칙 하에서는 완벽한 점수를 받을 수 있습니다. 이를 해결하기 위해 연구자는 컴퓨터가 만든 그룹과 실제 현실 세계의 범주 사이의 관계를 고정하는 새로운 평가 프로토콜을 만들었습니다. 이를 통해 시스템을 테스트할 때, 시스템이 단순히 사물을 분류하는 능력이 아니라 서로 다른 것들을 구별해내는 능력을 갖추었는지에 대해 진정으로 심판받도록 보장했습니다.
이러한 자기 생성 라벨을 만들기 위해 연구자는 컴퓨터의 내부 표현 방식에 따라 이미지가 얼마나 유사한지를 기준으로 이미지를 정리하는 표준 그룹화 알고리즘을 사용했습니다. 컴퓨터가 라벨이 없는 사진 모음체를 바라보며 유사한 항목들이 서로 가까이 위치하도록 클러스터를 만드는 모습을 상상해 보십시오. 연구자는 그런 다음 각 이미지에 대한 신뢰 점수를 계산하여, 해당 이미지가 할당된 그룹에 얼마나 밀접하게 부합하는지를 측정했습니다. 이미지가 클러스터의 중심에 있다면 시스템은 그 라벨에 대해 높은 확신을 가졌고, 가장자리에 있다면 시스템은 확신이 없었습니다. 그 후 연구는 불확실한 이미지들을 버리고 확신도가 높은 이미지만을 사용하여 모델을 학습시켰습니다. 이 선택적인 과정은 매우 중요했는데, 노이즈가 섞이고 부정확한 라벨을 포함한 모든 자기 생성 라벨을 사용한다면 모델의 성능이 저하되었을 것이기 때문입니다.
이 접근 방식의 결과는 100개의 일상적인 물체 범주를 포함하는 하나의 이미지 데이터셋과 100개의 자연 이미지 범주를 포함하는 또 다른 데이터셋, 즉 두 개의 주요 이미지 데이터셋을 통해 테스트되었습니다. 연구자는 이 비지도 학습 방식을 인간이 모든 라벨을 제공하는 표준 지도 학습 방식과 비교했습니다. 연구 결과, 이 자기 학습 방식은 인간이 라벨을 붙인 버전보다 정확도가 약간 떨어졌지만, 그 차이는 놀라울 정도로 작았습니다. 많은 시나리오에서 성능 손실은 10% 미만이었으며, 연구자는 이를 데이터 라벨링에 필요한 막대한 시간과 노동력을 절감하는 데 있어 충분히 가치 있는 트레이드오프라고 간주했습니다. 더욱 중요한 것은, 라벨 없이 새로운 범주를 발견하도록 설계된 기존의 다른 기술들과 비교했을 때 그들의 방식이 현저히 우수했다는 점입니다. 많은 점진적 단계가 포함된 장기 학습 시나리오에서, 그들의 방법은 기존의 가장 뛰어난 비지도 기술들보다 최종 정확도 면에서 5% 이상 높은 성능을 보였습니다.
또한 이 연구는 개 품종이나 자동차 모델의 차이처럼 범주 간의 차이가 미묘한 더 복합적인 실제 상황에서 이 방법이 어떻게 유지되는지를 탐구했습니다. 연구는 이 시스템을 세밀한 수준의 데이터셋(fine-grained datasets)에 대해 테스트하였고, 시스템이 효과적으로 작동함을 발견했습니다. 다만, 점진적 학습을 시작하기 전에 거대 일반 데이터셋으로 모델을 사전 학습시키는 것이 이러한 특수한 경우에는 오히려 성능을 저하시킨다는 점을 언급했습니다. 이는 매우 전문화된 작업의 경우, 광범위한 기존 지식에 의존하기보다 새로운 데이터를 사용하여 처음부터 학습하는 것이 더 낫다는 것을 시사합니다. 나아가 연구자는 이 방법의 계산 비용을 분석하였고, 이 방식이 완전 지도 학습 방식보다 훈련 속도가 빠를 뿐만 아니라 더 적은 컴퓨팅 파워를 요구한다는 것을 발견했습니다. 불확실한 데이터를 걸러냄으로써, 시스템은 더 적은 이미지를 처리했고, 이는 표준 방식에 비해 훈련에 필요한 에너지와 시간을 약 4분의 1 정도 줄여주었습니다.
이 연구는 인공지능이 지속적인 인간의 감독 없이도 세상의 가공되지 않은 데이터로부터 계속해서 학습할 수 있도록 설계될 수 있음을 입증합니다. 단순한 클러스터링 기술과 엄격한 신뢰도 필터, 그리고 더 엄격한 결과 테스트 방식을 결합함으로써, 연구자는 새로운 상황이 발생할 때마다 적응할 수 있는 기계로 향하는 실행 가능한 경로를 보여주었습니다. 이러한 결과는 매 사례마다 교사가 필요한 것처럼 관찰하고, 그룹화하고, 새로운 것에 대한 이해를 정교화하며 배우는 인간과 같은 AI의 꿈이, 특히 자원은 제한적이고 라벨이 없는 데이터는 풍부한 환경에서 실질적인 현실이 되어가고 있음을 시사합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.