기술 요약: QR-Erase: 레이어 국소화를 통한 효율적인 서브스페이스 기반 머신 언러닝

문제 정의

머신 언러닝(Machine unlearning)은 훈련된 모델로부터 특정 데이터, 개념 또는 능력을 제거하면서도 관련 없는 작업에 대한 성능은 유지하는 것을 목표로 합니다. 이는 개인정보 보호 규정(예: GDPR, CCPA) 및 데이터 소유권 문제로 인해 점점 더 중요해지고 있습니다. 기존 방식들은 두 가지 주요 한계점에 직면해 있습니다:

1. 최적화 기반 방법론 (예: Gradient Ascent, DPO)은 관련 없는 능력을 저하시키는 경우가 많으며, 거대 파운데이션 모델에 적용하기에는 확장성이 떨어지는 반복적인 최적화 과정을 요구합니다.
2. 서브스페이스 기반 방법론은 가중치 공간에서의 직접적인 제거를 제공하지만, 서브스페이스 복구를 위해 특이값 분해(SVD)에 의존합니다. SVD는 계산 비용이 많이 들며, 효과적인 언러닝을 위해 반드시 최적의 저계수 재구성이 필요한지에 대한 의문을 제기합니다.

또한, 작업별 지식이 모델 전체에 균등하게 분포되어 있는지 아니면 특정 레이어에 집중되어 있는지, 그리고 이러한 위치를 식별하는 것이 구체적인 분해 방법론을 사용하는 것보다 더 중요한지에 대해서도 여전히 불분명합니다.

방법론

저자들은 QR-Erase를 제안하며, 이는 피보티드 QR(Pivoted QR)을 통한 효율적인 서브스페이스 복구와 레이어 국소화(layer-localized forgetting)라는 두 가지 상호 보완적인 설계 선택을 통해 위 질문들을 해결합니다.

1. QR-Erase: 서브스페이스 복구를 위한 Pivoted QR

QR-Erase는 SVD 대신 Column-Pivoted QR (CPQR) 분해를 사용하여 저차원 작업 방향을 식별하고 억제합니다.

• 작업 행렬 구축: 망각 세트($D_f$)와 유지 세트($D_r$)가 주어지면, 각 데이터 파티션과 관련된 파라미터 업데이트를 나타내는 레이어별 작업 행렬($T_f^\ell$ 및 $T_r^\ell$)을 구축합니다.
• 분해: CPQR은 망각 작업 행렬에 적용됩니다: $T_f^\ell \Pi_f^\ell = Q_f^\ell R_f^\ell$. $Q_f^\ell$의 열들은 작업 서브스페이스의 직교 정규 기저(orthonormal basis)를 형성합니다.
• 서브스페이스 차별화: 유지된 지식을 보존하기 위해, 이 방법은 망각 서브스페이스를 유지 서브스페이스의 직교 보공간(orthogonal complement) 위로 투영합니다 ($P_r^\ell = Q_r^\ell (Q_r^\ell)^T$). 차별화된 작업 행렬은 $\tilde{T}_f^\ell = (I - P_r^\ell) Q_f^\ell R_f^\ell (\Pi_f^\ell)^T$로 재구성됩니다.
• 파라미터 업데이트: 모델 파라미터는 차별화된 작업 행렬을 빼줌으로써 업데이트됩니다: $(W^\ell)' = W^\ell - \tilde{T}_f^\ell$.

이론적 동기: 저자들은 효과적인 언러닝이 최적의 저계수 재구성 오차를 달est하는 것보다 지배적인 작업 서브스페이스를 복구하는 데 달려 있다고 주장합니다. 완만한 스펙트럼 간격 조건($\sigma_{k+1} \ll \sigma_k$) 하에서, CPQR은 최적의 SVD 솔루션에 근사하는 유계 오차(bounded error)를 가진 서브스페이스 복구를 제공하므로, 계산 비용이 저렴한 CPQR이 언러닝에 충분히 적합합니다.

2. 레이어 국소화 QR-Erase (Layer-Localized QR-Erase)

작업 정보가 균등하게 분포되어 있지 않을 수 있음을 인지하여, 저자들은 높은 "작업 에너지"를 가진 레이어로 업데이트를 제한하는 전략을 도입합니다.

• 정규화된 작업 에너지: 각 레이어 $\ell$에 대해, 에너지는 $E_\ell = \frac{\|T_f^\ell\|_F}{\sum_{j \in L} \|T_f^j\|_F}$로 정의됩니다.
• 선택: 에너지가 평균 기여도 이상인 경우($E_\ell \geq 1/|L|), 즉 해당 레이어가 망각 연산 대상으로 선택됩니다.
• 업데이트: 파라미터 업데이트는 선택된 레이어($L_{forget}$)에 대해서만 적용되며, 나머지 레이어는 변경되지 않은 상태로 유지됩니다.

주요 기여

1. QR-Erase 프레임워크: 작업 서브스페이스 복구를 위해 SVD의 대안으로 Pivoted QR 기반의 방식을 도입했습니다. 이는 대등한 망각 성능을 달성하면서도 분해 실행 시간을 60% 이상 단축합니다.
2. 레이어 국소화 망각: 정규화된 작업 에너지를 기반으로 고에너지 레이어에 업데이트를 제한하는 전략을 제안합니다. 이는 다양한 언러닝 방법론 전반에서 망각-유지 트레이드오프(forgetting–retention tradeoff)를 일관되게 개선합니다.
3. 포괄적인 평가: 다음 세 가지 다양한 환경에서 접근 방식을 평가합니다:
   • 작업 수준 및 사실적 텍스트 언러닝 (UNLEARN 및 TOFU 벤치마크).
   • 교차 언어적 사실 언러닝 (cTOFU 벤치마크).
   • 음성 언러닝 (VoxCeleb2 벤치마크, 샘플 및 화자 수준 망각 포함).
4. 실증적 증거: 효과적인 언러닝의 주요 동력이 특정 분해 방법(SVD vs. QR)보다는 정확한 서브스페이스 복구와 지식의 국소화임을 입증합니다.

결과

본 논문은 텍스트, 다국어, 음성 도메인에 걸친 결과를 보고합니다:

• 효율성: 피보티드 QR은 768×768에서 8192×8192에 이르는 행렬 크기에 대해 SVD 대비 분해 시간을 65~68% 줄였으며, 다운스트림 언러닝 성능에는 무시할 만한 영향을 미쳤습니다.
• 성능 트레이드오프:
  • 텍text (TOFU/UNLEARN): QR-Erase는 망각 품질과 모델 유틸리티 측면에서 SVD 기반의 UNLEARN과 대등한 성능을 보입니다. 레이어 국소화 변형은 트레이드오프를 더욱 개선합니다. 예를 들어, 레이어 국소화된 QR-Erase는 망각 기준을 충족하면서도 가장 높은 모델 유틸리티(0.6120)를 달성했습니다.
  • 교차 언어 (cTOFU): 서브스페이스 기반 방법론은 유틸리티를 보존하면서 망각 기준을 충족하는 데 종종 실패하는 최적화 기반 베이스라인(NPO, FLAT 등)보다 유의미하게 우수한 성능을 보입니다. QR-Erase는 여러 언어에 걸쳐 SVD 성능에 근접합니다.
  • 음성 (VoxCeleb2): 최적화 기반 방법론은 타겟 및 유지 세트의 성능을 저하시키는 경우가 많습니다. 서브스페이스 방법론은 이러한 능력을 보존하면서 망각 세트의 정확도를 낮춥니다. 특히, 레이어 국소화된 QR-Erase는 Qwen3-Omni에서 음성 망각 세트 정확도를 53.1%에서 15.7%로 낮추면서도 타겟 및 유지 세트에 대한 높은 정확도를 유지했습니다.
• 일반화: 레이어 국소화의 이점은 모든 모달리티에서 관찰되었으며, 이는 작업별 지식이 일부 레이어 내에 공간적으로 국소화되어 있음을 시사합니다.

의의 및 주장

본 논문은 정확한 서브스페이스 복구가 효과적인 머신 언러닝을 위해 충분하다고 주장하며, SVD가 제공하는 최적의 저계수 재구성이 필수적이라는 통념에 도전합니다. SVD를 피보티드 QR로 대체함으로써, 저자들은 언러닝 효능을 희생하지 않으면서 현대적인 파운데이션 모델에 더 잘 확장 가능한 계산 효율적인 대안을 제공합니다.

나아가, 본 연구는 지식이 어디에 국소화되어 있는지 식별하는 것(레이어 에너지 분석을 통해)이 특정 서브스페이스 분해 방법을 사용하는 것보다 망각-유지 트레이드오프에 더 큰 영향을 미친다는 점을 확립했습니다. 이러한 결과는 효과적인 언러닝이 두 가지 요소, 즉 지배적인 작업 서브스페이스를 복구하는 것과 그 지식이 표현되는 특정 레이어를 타겟팅하는 것에 달려 있음을 시사합니다. 이는 텍스트, 다국어 및 음성 파운데이션 모델을 위한 확장 가능하고 효율적이며 해석 가능한 접근 방식을 제공합니다.