Multi-Scale Structural Features for Continual, Comprehensible Visual Recognition in a Developmental Learning Framework

기술 요약: 지속적이고 이해 가능한 시각 인식을 위한 다중 스케일 구조적 특징

문제 정의
현대 머신러닝은 근본적인 세 가지 한계 직면에 있다: 과거 지식을 덮어쓰지 않고 지속적으로 학습하는 능력의 부재(파괴적 망각), 이전 지식의 효과적인 재사용의 어려움, 그리고 이해 가능한 내부 구조의 결여이다. 경사 기반 신경망은 구조적으로 이 문제를 해결하기 어렵다. 이들의 공유된 가중치 공간은 현재 데이터에 대한 업데이트가 필연적으로 과거 데이터에 대한 역량을 저하시키는 "파괴적 적응"을 초래한다. 표준적인 해결책인 리플레이 버퍼, 정규화, 또는 태스크 경계 설정 등은 실제의 비정상적(non-stationary) 경험 스트림에는 존재하지 않는 가정들(보존된 데이터, 알려진 경계, 라우팅 신호 등)에 의존하여 증상만을 완화할 뿐이다.

이전에 제안된 발달적, 경사 미사용 프레임워크(이하 "모델러(Modeller)")는 국소적 변이와 선택을 통해 이산적이고 위상적인 모델을 성장시킴으로써 이러한 문제들을 다루었으나, 시각적 입력으로의 확장은 제한적이었다. 이전의 시각적 구현은 최소한의 특징 표현에 의존하여 10개 클래스 MNIST에서 약 0.50의 인식 정확도에 머물렀으며, 고성능 인식을 위해 필요한 구조적 복잡성을 포착하는 데 실패했다.

방법론
본 논문은 시각적 입력을 관계형 네트워크로 처리하는 발달적, 경사 미사용 학습 프레임워크를 소개한다. 이 시스템은 데이터를 저장하거나 태스크 경계를 요구하지 않고, 각 관찰을 정확히 한 번씩 통합하며 국소적 변이와 선택을 통해 네트워크를 정교화함으로써 학습한다.

1. 다중 스케일 구조적 특징 표현:
   핵심 기여는 형상 구조를 여러 스케일에 걸쳐 동시에 인코딩하는 새로운 시각적 특징 표현이다.

• 원리: 불변 영역(regions of constancy)은 변화의 지점들에 의해 표현된다. 2D 형상의 경우, 시스템은 이진화된 이미지로부터 윤곽선을 추출하고 방향적 극점(이미지 축을 따라 주행 방향의 부호가 바뀌는 지점)을 식별한다.
• 네트워크 구축: 이러한 변화 지점들은 유형화된 노드(축, 방향, 국소 볼록성으로 정의됨)가 된다. 이들은 윤곽선의 연속성과 공간적 관계(수평/수직)를 나타내는 유향 엣지(directed edges)로 연결된다.
• 조성(Coarsening): 시스템은 동일한 유형의 가장 작은 인접 극대/극소 쌍을 제거함으로써 반복적으로 네트워크를 조성한다. 결정적으로, 모든 수준의 조성 단계에서 추출된 엣지들은 하나의 **증강된 네트워크(augmented network)**로 누적된다. 노드들은 여러 수준 간에 공유되므로, 장거리 관계(형상의 먼 부분들을 가로지르는 관계)와 국로적 관계가 동일한 노드 집합 위에서 공존할 수 있다. 이를 통해 학습자는 비반복적인 세부 사항을 줄이면서도 어떤 정밀도에서도 신뢰할 수 있는 관계를 유지할 수 있다.

2. 학습 과정 (정교화 및 선택):

• 관찰로서의 네트워크: 입력 이미지는 상태 네트워크(특징 인스턴스와 관계의 유향 그래프)로 변환된다.
• 변이(Variation): 타겟(클래스 또는 내부 상태)은 활성화되어 있으나 설명되지 않은 경우, 관찰된 네트워크를 소스로 사용하여 새로운 양의 조건부 상태 변수(csv)를 생성한다.
• 선택 (정교화): 학습은 csv의 소스를 반복되는 방향으로 정교화한다. 만약 소스가 새로운 관찰에서 타겟이 반복되는 상황과 일치한다면, 새로운 관찰에 존재하지 않는 소스의 요소들을 제거한다. 정교화는 요구사항을 제거할 뿐 절대 추가하지 않으므로, 시스템은 수정 전의 어떤 관찰이 csv를 만족했다면 수정 후에도 여전히 이를 만족할 것임을 보장한다.
• 차별화(Differentiation): 만약 csv가 일치하지만 그 타겟이 관찰 내용과 모순되거나, 부분적 일치가 잔여물을 남기는 경우, 특정 잔여물을 분리해내기 위해 새로운 "상류(upstream)" csv들을 생성하여 점진적으로 더 구체적인 구조의 체인을 형성한다.
• 유지보수: 신뢰할 수 없는 csv는 제거되며, 매우 신뢰할 수 있는 것들은 구조적 팽창을 방지하기 위해 하류 타겟에 다시 통합된다.

3. 매칭 및 판독(Read-Out):

• 체인 인식 매칭: 시스템은 학습된 패턴이 관찰 내 어디에 위치하는지 찾는다. 위치적 근접성에 의존했던 이전 방식들과 달리, 이 매처는 다중 스케일 관계를 사용한다. 이는 국소적 기하학 구조와 형상을 가로지르는 장거리 공간 관계 모두에 의해 제약되면서 대응 관계를 점진적으로 키워나간다. 이는 대응 문제(correspondence problem)를 결정론적으로 만든다.
• 부재 인식 판독: 분류는 매칭 중에 계산된 공간 통계(위치 및 방향)를 소비하는 국소적, 경사 미사용 절차에 의해 수행된다. 시스템은 기대되는 csv의 부재를 클래스에 반하는 증거로 취급한다. 클래스 점수는 매칭되는 csv의 존재와 기대되는 것의 부재로부터 도출된 로그 가능도(log-likelihood)의 합이며, 이는 클래스 특유의 앵커와 배경 풀에 대한 기하학적 적합도에 따라 가중치가 부여된다.

주요 기여

• 다중 스케일 표현: 조성 계층 구조의 모든 수준에서 형상 구조를 포착하는 통합된 관계형 네트워크를 제공하여, 학습자가 세부 사항을 정교화하여 제거하더라도 장거리 관계를 유지할 수 있게 한다.
• 개선된 학습 역학: 글로벌 분류기나 경사 없이 학습된 공간 통계를 활용하는 명시적인 매칭 단계와 부재 인식 판독 메커즘을 제공한다.
• 입증된 지속적 학습: 시스템은 리플레이나 태스크 경계 없이, 순수하게 샘플 단위의 스트림으로부터 10개의 MNIST 클래스를 학습하여 0.874의 정확도를 달달성했다.
• 이해 가능성: 학습된 모델은 클래스의 캐리커처로 그려지고 해석될 수 있는 명시적인 변화 지점 및 관계의 구성이다.

결과
클래스 점진적(class-incremental) MNIST(59,595개의 위상적으로 일관된 이미지)에 대해 평가한 결과, 시스템은 다음과 같은 성과를 거두었다:

• 정확도: 홀드아웃(held-out) 정확도 0.874 (±0.018)를 달성하였으며, 이는 동일 프레임워크에서 보고된 기존 0.50에 비해 상당한 향상이다.
• 유지력: 시스템은 학습 사이클의 마지막 지점(WCR_end)에서 클래스 정확도의 95%를 유지하며, 최저점(WCR_wst)에서도 90%를 유지한다. 반면, 경사 기반 베이스라인(리플레이를 포함하더라도)은 거의 0으로 떨어지거나 동일 사이클 내에서 재학습이 필요하다.
• 비교: 시스템은 유사한 저장 용량에서 리플레이 기반(예: DER++, Naive Replay) 및 정규화 기반(예: SI, MAS) 베이스라인과 대등하거나 이를 능가하는 성능을 보이면서도, 과거 데이터를 전혀 저장하지 않는다.
• 모델 성장: 모델 크기는 초기 학습 단계 이후 약 187개의 조건부 상태 변수(csv)에서 포화되며, 이는 시스템이 무한히 성장하지 않음을 보여준다. 음의 구조(억제기)가 결국 양의 구조를 압도하는데, 이는 경계(boundaries)가 차별화를 유지하는 곳임을 시사한다.

의의 및 주장
본 논문은 이 접근 방식이 통계적, 경사 기반 학습의 범위를 벗어난 질적인 능력을 보여준다고 주장한다: 즉, 리플레이, 경사, 또는 태스크 경계 없이 스트림으로부터 정보를 통합하면서도 과거의 관찰에 대한 반응을 확실히 보존하는 능력이다.

• 파괴적 적응 없음: 신경망이 과거의 역량을 덮어쓰는 것과 달리, 이 시스템은 기존 구조를 국소적으로 정교화하여 새로운 클래스가 도입되더라도 이전에 학습된 클래스가 유지되도록 보장한다.
• 내재적 이해 가능성: 학습된 표현은 불투명한 가중치 벡터가 아니라 인간이 해석 가능한 구조적 기술이다.
• 기초 원리: 본 연구는 연속적인 엔티티가 변화의 지점들에 의해 표현될 수 있으며, 다중 스케일 구조적 관계가 구조적 지속 학습자를 위한 단일 관계형 네트워크로 표현될 수 있다는 원리를 검증한다.
• 한계: 저자들은 시스템이 현재 2D 형상(MNIST)으로 제한되어 있으며, 수작업으로 설계된 특징 어휘(이진 윤곽선의 1차 변화 지점)에 의존하고 있음을 인정한다. 4/9 혼동은 표현상의 잔여물이다. 이 접근법은 학습하기보다는 표현을 전제로 하지만, 저자들은 이 원리가 보편적이라고 주장한다.

그 의의는 단순히 정확도에 있는 것이 아니라 학습의 방식에 있다: 리플레이, 경사, 또는 태스크 경계 없이 스트림으로부터 학습하면서도, 학습한 것을 유지하고 이해 가능한 상태를 유지하는 시스템이라는 점에 있다.