🤖 AI

I-CARE: Analysis of interference-related phenomena in a controllable, diverse and representative unlearning setting for text-to-image models

이 논문은 텍스트-투-이미지 모델 언러닝에서 간섭 관련 현상을 분석하기 위한 체계적인 방법론과 표준화된 도구를 제공하여, 다양한 설정에 걸쳐 의도치 않은 지식 저하를 체계적이고 재현 가능한 방식으로 평가할 수 있게 하는 I-CARE를 소개한다.

원저자: Leonardo Santiago Benitez Pereira, Marcos Escudero Viñolo, Luis Herranz Arribas

게시일 2026-09-02

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Leonardo Santiago Benitez Pereira, Marcos Escudero Viñolo, Luis Herranz Arribas

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

지난 몇 년 동안 인공지능은 단어를 통해 그림을 그리는 법을 배웠습니다. "모자를 쓴 고양이"와 같은 문장을 입력하면, 컴퓨터 프로그램은 그 설명에 부합하는 독특한 이미지를 생성합니다. 생성 모델(generative models)이라고 불리는 이러한 시스템은 방대한 이미지와 텍스트 컬렉션을 학습하여 단어와 시각적 패턴을 연관시키는 법을 배웁니다. 하지만 이러한 도구들이 더욱 강력해짐에 따라 새로운 문제가 발생했습니다. 바로, 무언가를 '잊게' 만들고 싶을 때 어떤 일이 벌어지는가 하는 점입니다.

특정 유명인을 그리도록 학습된 모델이 있다고 가정해 봅시다. 그런데 그 사람이 개인정보 보호 문제나 디지털 발자국을 통제하려는 목적 등으로 자신의 이미지를 시스템에서 제거해 달라고 요청할 수 있습니다. '기계 망각(machine unlearning)'이라고 불리는 이 과정은 AI 시스템이 다른 모든 것을 그리는 능력은 손상시키지 않으면서 특정 개념만을 "망각"하도록 만드는 시도입니다. 이는 매우 섬세한 작업입니다. 만약 한 가지를 너무 공격적으로 지우려 한다면, 모델은 의도치 않게 관련 없는 다른 지식까지 손상시킬 수 있습니다. 특정 견종을 그리려는 모델이 모든 개를 잘 못 그리게 될 수도 있고, 특정 정치인을 제거하려는 모델이 다른 공인들의 이미지를 왜곡하여 생성하기 시작할 수도 있습니다. 이처럼 관련 개념에 발생하는 의도치 않은 손상을 '간섭(interference)'이라고 하며, 지금까지 과학자들은 이것이 얼마나 심각한지 또는 왜 발생하는지를 측정할 신뢰할 만한 방법을 가지고 있지 않았습니다.

한 연구팀은 이 문제를 연구하기 위해 I-CARE라는 새로운 프레임워크를 도입했습니다. 이들은 데이터를 지우는 새로운 방법이나 새로운 AI 모델을 발명하는 대신, 서로 다른 삭제 기술이 시스템의 나머지 부분에 어떤 영향을 미치는지 테스트하는 표준화된 방법을 구축했습니다. 이것은 마치 손상을 측정하기 위한 새로운 자(ruler)와 같습니다. 이 연구 이전의 망각 연구들은 종-종 일관성이 없었습니다. 어떤 팀은 사람을 잊는 것을 테스트하고 다른 팀은 풍경을 잊는 것을 테스트하여 결과를 공정하게 비교하는 것이 불가능했습니다. I-CARE 프레임워크는 실험을 설정하기 위한 공통 언어와 엄격한 규칙을 제공합니다. 이 프레임키는 무언가를 "잊는다"는 것이 정확히 무엇을 의미하는지, 남은 이미지의 품질을 어떻게 측정하는지, 그리고 어떤 관련 없는 개념들이 피해를 입었는지 추적하는 방법을 정의합니다. 또한 연구진은 코드를 작성하거나 복잡한 수학을 이해할 필요 없이 누구나 이 결과를 탐색할 수 있도록 'Forgety'라는 무료 오픈 소스 소프트웨어 도구를 제작했습니다.

연구진은 이 방법이 효과적인지 증명하기 위해 대규모 실험을 수행했습니다. 그들은 유명인, 특정 견종, 그리고 숲이나 경기장 같은 다양한 장면이라는 세 가지 뚜렷한 카테고리를 선택했습니다. 각 카테고리에 대해 특정 배우, 특정 테리어 종, 또는 특정 종류의 다리와 같이 100개의 구체적인 엔티티(entity)를 선정했습니다. 그런 다음 최첨단 이미지 생성기에 세 가지 서로 다른 망각 기술을 적용하여 한 번에 하나의 엔티티를 제거했습니다. 총 900개의 서로 다른 개념을 지워야 했으며, 무엇이 일어나는지 확인하기 위해 36만 개의 새로운 이미지를 생성했습니다. 그들은 단순히 대상이 사라졌는지만을 보기 위해서가 아니라, 그 카테고리의 나머지 99개 엔티티를 그리는 모델의 능력이 변했는지를 확인하기 위해 이 작업을 수행했습니다.

결과는 간섭이 과학자들이 이전에 생각했던 것보다 훨씬 더 복잡하다는 것을 보여주었습니다. 흔한 가설은 모델이 지워지는 것과 매우 유사한 개념에만 영향을 줄 것이라는 것이었습니다. 예를 들어, 골든 리트리버를 지운다면 래브라도 리트리버는 피해를 입고 푸들은 괜찮을 것이라고 예상할 수 있습니다. 그러나 연구 결과는 이것이 항상 사실은 아니라는 것을 밝혀냈습니다. 때때로 하나의 엔티티를 지우는 것이 전혀 관련 없어 보이는 엔티티에 상당한 손상을 입히는 반면, 매우 유사한 것들은 그대로 두기도 했습니다. 어떤 경우에는 손상이 너무 예측 불가능해서 연구진이 이를 설명할 간단한 규칙을 찾을 수 없었습니다. 그들은 데이터가 삭제되는 방식에 따라 발생하는 피해의 양이 크게 달라진다는 것을 발견했습니다. 게임 이론 접근 방식에 기반한 한 가지 방법은 테스트된 다른 두 가지 방법보다 훨씬 더 많은 부수적 피해를 일으켰습니다. 추가 데이터가 필요하지 않은 다른 방법은 전체적인 피해는 적었지만 예측하기는 더 어려웠습니다.

또한 연구진은 남은 개념들을 보호하기 위해 사용한 데이터가 결과에 어떤 영향을 미치는지 살펴보았습니다. 그들은 모델이 대상을 잊는 동안 유사한 것들의 사례를 보여주면, 그 유사한 것들을 보호하는 데 훨씬 더 효과적이라는 것을 발견했습니다. 예를 들어, 축구장을 지우려고 할 때, 모델이 지우는 과정 중에 다른 스포츠 경기장의 사진을 능동적으로 보여주어야만 다른 스포츠 경기장들을 안전하게 유지할 수 있었습니다. 만약 이러한 예시들이 없다면, 모델은 모든 스포츠 경기장의 이미지를 실수로 저하시켰습니다. 이는 모델이 "잊는" 동안 어떻게 "기억"하도록 훈련받는지가 "지우는" 기술 자체만큼 중요하다는 것을 시사합니다.

아마도 가장 놀라운 발견은 간섭이 항상 파괴적인 것만은 아니라는 점일 것입니다. 약 2.7%의 사례에서 연구진은 하나의 개념을 지우는 것이 유사한 개념의 이미지를 약간 더 좋게 만든다는 것을 관찰했습니다. 예를 들어, 유명한 레이싱 카 드라이버의 이미지를 지웠을 때, 모델이 유명한 수영 선수를 그리는 능력이 약간 향 향상되었습니다. 연구진은 이를 "건설적 간섭(constructive interference)"이라고 부릅니다. 비록 드물게 발생했지만, 이는 AI 모델 내의 개념 간 관계가 단순히 한 방향으로만 흐르는 것이 아님을 증명합니다. 즉, 어떤 것을 지우는 것이 항상 다른 것을 해치는 것은 아닙니다. 때로는 특정 패턴을 제거함으로써 모델이 관련 패턴에 대한 이해를 정교하게 다듬을 수 있게 됩니다.

연구는 또한 이러한 결과를 예측하는 것의 어려움을 강조했습니다. 연구진은 인간이 보기에 얼마나 유사한지에 기초하여 어떤 개념들이 서로 간섭할지 추측할 수 있는 시스템을 구축하려고 시도했습니다. 그들은 이러한 예측이 자주 틀린다는 것을 발견했습니다. 인간에게 매우 비슷해 보이는 두 엔티티는 모델 내에서 서로 간섭하지 않을 수 있는 반면, 서로 달라 보이는 두 엔티티가 엄청난 피해를 줄 수도 있었습니다. 이는 이러한 AI 모델의 내부 논리가 여전히 우리에게 큰 미스터리임을 시사합니다. 우리는 피해를 볼 수는 있지만, 지우기 전에는 어디에서 피해가 발생할지 신뢰할 수 있게 예측할 수는 없습니다.

이러한 발견을 쉽게 접할 수 있도록, 팀은 'Forgety'라는 웹 기반 인터페이스를 만들었습니다. 이 도구는 사용자가 프로그래머가 아니더라도 실험 결과를 찾아보고, 어떤 개념들이 서로 간섭하는지 시각화하며, 데이터를 탐색할 수 있게 해줍니다. 이는 수천 개의 복잡한 데이터 포인트를 누구나 이해할 수 있는 간단한 차트와 목록으로 변환해 줍니다. 이러한 투명성은 그들 작업의 핵심적인 부분인데, 정책 입안자, 윤리학자, 그리고 대중이 AI 시스템을 잊게 만드는 시도의 실제적인 결과를 볼 수 있게 해주기 때문입니다.

논문은 우리가 기계 망각을 이해하는 데 진전을 이루었지만, 아직 이를 수행하는 단 하나의 "최선의" 방법은 없다고 결론짓습니다. 지우는 방법의 효과는 전적으로 특정 작업과 사용된 데이터에 달려 있습니다. 연구진은 자신들의 프레임워크가 진화하도록 설계되었다는 점을 강조합니다. 새로운 AI 모델이 만들어지고 데이터를 지우는 새로운 방법이 발명됨에 따라, I-CARE 방식은 이를 테스트하는 데 적용되어 이 분야가 명확하고 비교 가능하며 재현 가능한 결과와 함께 앞으로 나아갈 수 있도록 보장할 수 있습니다. 궁극적인 목표는 단순히 AI가 잊게 만드는 것이 아니라, 그 과정에서 AI의 나머지 지능을 망가뜨리지 않고, 이 강력한 도구들이 모두에게 안전하고 신뢰할 수 있는 상태로 남도록 하는 것입니다.

기술 요약: I-CARE – 텍스트-투-이미지 언러닝에서의 간섭 관련 현상 분석

문제 정의

머신 언러닝(Machine Unlearning, MU)은 AI 모델에서 특정 지식(개념 또는 데이터 포인트)을 제거하는 것을 목표로 하며, 이는 GDPR과 같은 규정을 준키하거나 편향을 완화하기 위함입니다. 그러나 핵심적인 과제는 이 논문에서 간섭(interference)(또한 콜래터럴 포게팅(collateral forgetting) 또는 개념 인접성(concept adjacency)으로도 불림)이라고 명명한, 유지되어야 할 의미론적으로 관련된 개념들의 의도치 않은 저하 문제입니다.

기존 문헌들이 MU가 무관한 능력에 해를 끼칠 수 있음을 인지하고 있음에도 불구하고, 본 논문은 간섭이 체계적으로 조사되거나 정밀하게 정량화된 적이 없다고 주장합니다. 현재의 벤치마크들은 무작위 노이즈와 구조화된 간섭 패턴을 구분할 만큼의 세밀함이 부족하며, 재현성과 교차 연구 비교를 방해하는 임의적인 평가 설정에 의존하는 경우가 많습니다. 또한, 코드, 데이터 또는 구성 세부 사항의 누락으로 인해 보고된 결과를 복구할 수 없는 재현성 위기 문제도 겪고 있습니다.

방법론: I-CARE

본 논문은 간섭을 하나의 독립적인 연구 대상으로 취급하도록 설계된 공식 방법론인 I-CARE(Interference in Concept Adaptation and geneRative Erasure)를 소개합니다. I-CARE는 새로운 언러닝 알고리즘이나 단일 정적 벤치마크를 제안하는 대신, 개념적 체계, 공식 정의 및 표준화된 보고 템플릿을 제공합니다.

핵심 공식 정의

I-CARE는 간섭 연구를 위한 엄격한 온톨로지를 구축합니다:

엔티티 ( $e$ ): 구별되는 의미론적 개념 (예: "조지 W. 부시").
속성 ( $a$ ): 엔티티의 주석이 달린 특성 (예: 직업, 인기).
태스크 ( $t$ ): 동일한 속성이 주석 처리된 관련 엔티티들의 집합.
MetricInterferencePerEntityPair ( $m_p$ ): $e_1$ 이 언러닝될 때 $e_2$ 의 생성 품질이 얼마나 저하되는지 측정하는 함수.
MetricInterferencePerEntity ( $m_e$ ): 단일 엔티티에 대한 집계된 간섭 지표 (예: 받은 간섭 또는 방출한 간섭의 평균).
SimilarityBetweenEntities ( $s$ ): 엔티티 간의 근접성을 측정하는 함수 (예: CLIP 코사인 유사도, DINO 임베딩).

실험 설계 제약 조건

의미 있는 결과를 보장하기 위해, I-CARE는 태스크 선택에 특정 제약을 부과합니다:

세밀한 엔티티: 간섭 관찰을 극대화하기 위해 개념들이 충분히 유사해야 합니다.
명명 가능성: 엔티티는 자연어를 통해 파운데이션 모델에 의해 인식 가능해야 합니다.
데이터 균형: 외부 편향이 결과에 혼란을 주지 않도록 관심 속성(예: 성별, 직업)에 대해 데이터셋이 균형을 이루어야 합니다.
All-vs-All 전략: 태스크 내의 모든 엔티티가 언러닝되며, 그 영향은 태스크 내의 다른 모든 엔티티를 대상으로 측정됩니다. 간섭 쌍에 대한 예측 이론이 부재한 상황에서 이러한 전수 조사 방식이 필요하다고 간주됩니다.

결과 템플릿 (RTs)

I-CARE는 데이터를 집계하고 보고하기 위한 표준화된 결과 템플릿을 정의합니다. 여기에는 다음이 포함됩니다:

MetricSimilarityAlignment: 유사도 지표와 간섭 지표 간의 상관관계를 분석하여 유사도가 간섭을 예측하는지 테스트합니다.
SignificantRelationship: 속성과 간섭 패턴 사이의 통계적 상관관관계를 테스트합니다.
MinimumCutInterference: 태스크를 유향 그래프로 모델링하여 엔티티 간의 간섭 "전달 경로"를 식별합니다.
ImplicitAssociationTest: 언러닝 후 속성 쌍 간의 자동 연상 변화를 측정합니다.

타당성 입증

방법론을 검증하기 위해 저자들은 다음을 사용하여 대규모 타당성 입증 실험을 수행했습니다:

베이스 모델: Stable Diffusion v1.4.
언러닝 방법: 서로 다른 계열을 대표하는 세 가지 최첨단 알고리즘:
- UCE: Unified Concept Editing (데이터 프리 방식).
- SPARE: Self-distillation for Parameter-Efficient Removal (증류 기반 방식).
- MUNBa: Machine Unlearning via Nash Bargering (게임 이론 기반 방식).
태스크: 각 100개의 엔티티를 가진 세 가지 다양한 태스크:
- 사람: Labeled Faces in the Wild (LFW).
- 품종: AtharvaTaras 개 품종 데이터셋.
- 장면: SUN Attributes 데이터셋.
지표: 5가지 이미지 품질 측정값(예: $\Delta$ Clip, $\Delta$ Brisque, $\Delta$ Dino, RMSE, SSIM)과 4가지 유사도 측정값에서 도출된 49개의 간섭 지표.

이 연구는 900개의 모델을 언러닝하고 360,000개의 이미지를 생성하는 과정을 포함했습니다. 사전 계산된 결과를 포함한 전체 파이프라인은 오픈 소스 소프트웨어 및 Forgety라고 불리는 웹 기반 GUI를 통해 공개되어 있습니다.

주요 결과

타당성 입증 실험은 비무작위적인 간섭 패턴을 도출했으나, 동시에 이 현상의 복잡성을 부각시켰습니다:

속성 주도 간섭: 간섭은 단순히 쌍별 유사도에 의해서만 결정되지 않습니다. 특정 속성은 "전달 와이어(transmission wires)" 역할을 합니다. 예를 들어, 개 품종 태스크에서는 특정 그룹(양몰이 개, 가축 개)이 다른 그룹보다 훨씬 더 많은 간섭을 일으켰습니다. 사람 태스크에서는 더 유명한 엔티티(높은 역사적 인기도 지수)가 더 많은 간섭을 받는 경향이 있었습니다.
방법론 비교:
- MUNBa는 모든 태스크에서 일관되게 가장 높은 수준의 부수적 피해(간섭)를 일으켰습니다.
- UCE와 SPARE는 더 나은 성능을 보였으며, 일반적으로 UCE가 SPARE보다 간섭을 적게 일으켰습니다.
- SPARE는 UCE나 MUNBa에 비해 유사도 지표에 의해 더 예측 가능한 간섭 패턴을 보였습니다.
예측의 한계: 단일 유사도 지표가 모든 태스크와 방법론에 걸쳐 간섭을 안정적으로 예측할 수는 없었습니다. 일부 상관관계(예: 장면 태스크에서 SPARE의 $\Delta$ Dino와 CLIP 유사도 간의 관계)는 존재했지만, 전반적인 예측력은 낮았으며, 이는 간섭이 단순한 의미론적 유사도의 함수가 아님을 시사합니다.
건설적 간섭: 사례의 2.7%에서 유사한 엔티티의 생성 품질이 통계적으로 유의미하게 개선되는 현상이 나타났으며, 이는 간섭이 항상 파괴적이라는 가정에 도전합니다.
그래프 해석: 최소 컷(Minimum cut) 분석 결과, 간섭은 직접적인 유사도가 아니라 소스와 타겟 모두와 속성을 공유하는 중간 엔티티를 포함하는 간접적인 "2-hop" 경로를 통해 자주 전파됨이 밝혀졌습니다.
유지 데이터 민감도: 실험 결과, 리테인 세트(retain set)의 구성이 매우 중요함을 보여주었습니다. 관련 엔티티를 리테인 세트에서 제거하면 관련 개념에 대한 간섭이 크게 증가했습니다.

의의 및 주장

본 논문은 I-CARE를 생성적 언러닝에서의 간섭 연구를 표준화하기 위한 기초적인 단계로 자리매김합니다. 주요 기여는 다음과 같습니다:

정형화: 단순한 사후 평가를 넘어, 간섭에 대한 최초의 공식 정의와 구조화된 온톨로지를 제공함으로써 체계적인 프레임워크를 구축했습니다.
재현성: 방법론을 특정 모델이나 알고리즘으로부터 분리하고, 오픈 소스 도구(Vision-Unlearning 라이브러리 및 Forgety UI)를 제공함으로써 연구의 장벽을 낮추고 결과의 비교 가능성을 확보하고자 합니다.
경험적 통찰: 타당성 입증을 통해 간섭이 속성과 언러닝 방법론에 의해 영향을 받는 비무작위적 패턴을 따르고 있음을 증명하는 동시에, 이러한 패턴을 예측하는 것이 여전히 미해결 과제임을 보여주었습니다.
윤리적 프레임워크: 본 방법론은 연구자들이 "전달 와이어"(간섭을 전파하는 속성)를 식별할 수 있게 하여, 특정 유형의 간섭이 허용 가능한지 아니면 완화가 필요한지에 대한 윤리적 판단을 용이하게 합니다.

저자들은 자신들의 발견에 대해 겸손한 입장을 명시합니다. 즉, 간섭을 예측하는 문제를 해결했거나 보편적인 규칙을 찾아냈다고 주장하는 것이 아닙니다. 대신, I-CARE가 커뮤니티가 이러한 현상을 체계적으로 조사하고, 기존 벤치마크를 공통된 프레임워크로 매핑하며, 궁극적으로 간섭 완화를 위한 규칙을 도출할 수 있도록 돕는 필수적인 "문법"과 도구를 제공한다고 주장합니다. 결론적으로, 모델이 진화함에 따라 구체적인 결과는 구식이 될 수 있지만, I-CARE 방법론은 미래의 언러닝 알고리즘과 베이스 모델에도 유효하고 적용 가능하도록 설계되었습니다.