기술 요약: 데이터 흔적 추적하기: LLM의 데이터 출처, 투명성 및 추적성에 관한 조사

1. 문제 정의

대규모 언어 모델(LLM)이 규모 면에서 점점 더 많이 배포되고 있지만, 그 훈련 데이터의 생애 주기는 여전히 매우 불투명합니다. 주요 제작자들은 경제적 및 독점적 우려로 인해 데이터의 기원과 훈련 과정을 비밀로 유지하는 경우가 많으며, 이는 "블랙박스" 모델을 초래합니다. 이러한 불투ability는 다음과 같은 중대한 과제를 발생시킵니다:

• 추적 불가능성: 현재 LLM은 생성된 출력을 원래의 데이터 소스로 역추적할 수 없습니다.
• 데이터 품질 및 편향: 대규모 훈련 데이터(예: 15조 개의 토큰을 가진 FineWeb)는 인간의 검증 능력을 초과합니다. 새로운 모델을 훈련하기 위해 LLM이 생성한 합성 데이터를 사용하는 것은 편향과 환각(hallucination)을 전파할 위험을 도입합니다.
• 개인정보 보호 및 법적 준수: 데이터가 명확한 계보 없이 모델 파라미터에 내장되어 있을 때, "잊힐 권리"와 GDPR 및 EU AI 법과 같은 규제를 집행하기 어렵습니다.
• 투명성 격차: 모델 가중치(파라미터)와 원시 훈련 데이터 사이에는 근본적인 단절이 존재하며, 이는 해석 가능성, 설명 가능성 및 책임성을 저해합니다.

본 논문은 데이터 출처, 투명성 및 추적성을 해결하지 않는다면, 분야 전체가 환각, 편향 및 개인정보 침해 문제를 효과적으로 완화할 수 없다고 주장합니다.

2. 방법론

저자들은 지난 10년(2016년 1월 – 2025년 3월) 동안의 연구를 합성하기 위해 체계적인 문헌 검토를 수행했습니다.

• 검색 전략: Scopus 데이터베이스를 사용하여 세 가지 필터를 적용한 쿼리를 구성했습니다: (1) 데이터 (출처, 계보, 거버니언스), (2) 언어 모델 (LLM, 대규모 언어 모델), (3) 속성 (투명성, 추적성, 감사 가능성, 재현성).
• 선택 과정: 초기 검색 결과는 129건이었습니다. 중복 제거를 위한 수동 검토와 관련성 기준(LLM과 관련된 데이터 사용, LLM에 의한/위한 데이터 생성, 또는 ML/AI에서의 데이터 출처 포함 여부)을 적용한 후, 34편의 논문을 제외했습니다.
• 최종 코퍼스: 최종 분석은 95편의 출판물을 바탕으로 합니다.
• 분류 체계 구축: 저자들은 이 분야를 세 가지 주요 축과 세 가지 지원 기둥으로 구성된 분류 체계를 개발하였으며, 이는 논문의 그림 2에 시각화되어 있습니다.

3. 주요 기여 및 분류 체계

본 논문의 핵심 기여는 LLM 데이터 출처를 정의하는 제안된 분류 체계와 그에 따른 산출물을 나열하는 것입니다. 프레임워크는 다음과 같이 구조화되어 있습니다:

세 가지 주요 축

1. 데이터 출처 (Data Provenance): 데이터 소스의 기원(라이선싱, 속성 부여, 추출, 생성 및 주석 달기)을 추적합니다.
2. 추적성 및 책임성 (Traceability & Accountability): 기초가 되는 소스 데이터를 생성된 출력과 연결합니다(로깅, 워터마킹, 모델 예측 속성 부여).
3. 투명성 (Transparency): 모델 아키텍처, 파라미터 및 훈련 절차에 대한 공개 정도를 구분합니다(오픈 웨이트 모델과 폐쇄형 웨이트 모델의 구분).

세 가지 지원 기둥

1. 편향 및 불확실성 (Bias & Uncertainty): 훈련 데이터의 편향이 모델로 어떻게 전파되는지 분석하고, 모델의 불확실성/환각을 정량화합니다.
2. 데이터 프라이버시 (Data Privacy): LLM 훈련 맥락 내에서 개인 및 독점 데이터의 보호 문제를 다룹니다.
3. 도구 및 기술 (Tools & Techniques): 특정 소프트웨어, 라이브러리 및 방법론적 접근 방식을 통해 위의 개념들을 실행합니다.

4. 주요 결과 및 발견

데이터 출처 및 속성 부여

• 라이선싱: 많은 공개 데이터셋이 명확한 라이선스가 결여되어 있어 상업적 이용에 있어 "회색 지대"를 형성합니다. 데이터셋의 기원을 감사하기 위해 DPExplorer와 같은 도구들이 등장하고 있습니다.
• 속성 부여 (Attribution): 두 가지 접근 방식이 존재합니다: 출처 보존형 (예: 컨텍스트가 명시적으로 전달되는 RAG 시스템) 및 출처 추론형 (사후적으로 소스를 검색하는 방식으로, 기원을 추적하기보다 시뮬레이션할 가능성이 있음).
• 합성 데이터: 데이터 주석 및 생성을 위해 LLM을 사용하는 것(예: START 프레임워크, FuxiTranyu)은 추적 가능한 파이프라인을 생성하지만, 감독되지 않을 경우 편향과 환각을 전파할 위험이 있습니다.

추적성 및 책임성

• 로깅 (Logging): ML 로깅 관행은 일반적인 소프트웨어 엔지니어링과 다르며, 배포 단계에서 포괄성이 부족한 경우가 많습니다. 모델 상태와 데이터 변환을 로깅하는 것은 감사 가능성을 위해 매우 중요합니다 এটি.
• 워터마킹 (Watermarking): TimeMarker와 같은 기술은 모델 출력에 구별되는 워터마크를 삽로하여 시간적 추적성과 저작권 보호를 가능하게 함으로써 추출이나 오용을 탐지합니다.
• 모델 예측 속성 부여: WrapperBox와 같은 프레임워크는 LLM 표현을 고전적 모델(kNN, DT)로 감싸서 예측을 특정 훈련 샘플로 역추적합니다.

투명성 및 불투명성

• 오픈 웨이트 vs. 폐쇄형 웨이트: 본 논문은 가중치와 아키텍처를 검사할 수 있는 투명한 오픈 웨이트 모델과 블랙박스인 불투명한 폐쇄형 웨이트 모델을 구분합니다.
• 해석 가능성 vs. 설명 가능성: 저자들은 증가하는 구분을 명확히 합니다:
  • 해석 가능성 (Interpretability): 내부 구조를 직접 이해할 수 있는 수동적 속성 (예: 희소 결정 레이어).
  • 설명 가능성 (Explainability): 결정에 대한 인간이 이해할 수 있는 이유를 생성하는 능동적 프로세스 (예: 사후 특징 속성 부여).
• 도메인: 오픈 웨이트 모델 연구는 컴퓨터 과학, 생물 의학, 법학을 아우르는 반 Broader, 폐쇄형 웨이트 연구는 주로 교육적 응용 및 신뢰의 철학적 함의에 집중합니다.

편향, 불확실성 및 프라이버시

• 편향: 인간이 작성한 데이터에 내재된 편향은 LLM으로 전파됩니다. LLM 생성 데이터를 훈련에 사용하는 것은 편향을 증폭시키는 피드백 루프를 생성할 수 있습니다.
• 불확실성: 알레아토리적(Aleatoric) 불확실성(데이터의 모호성)과 에피스테믹(Epistemic) 불확실성(모델의 기술 부족)으로 구분됩니다. LLM의 내부 상태는 때때로 환각을 탐지하는 데 활용될 수 있습니다.
• 프라이버시: "잊힐 권리"를 LLM에서 강제하는 것은 어렵습니다. 모델 편집(unlearning)이 연구되고 있지만, 훈련된 파라미터에서 특정 데이터를 삭제하기 위한 일반적인 솔루션은 존재하지 않습니다.

도구 및 기술

본 조사는 출처 추적을 실행하는 특정 도구(예: t5x, seqio, Data Provenance Explorer)와 기술(예: Trace-of-Thought 증류, Circuit tracing, TuneTables)을 식별합니다.

5. 의의 및 주장

본 논문은 데이터 출처, 투명성 및 추적성이 불가분하게 연결되어 있다고 주장합니다. 즉, 투명하지 않은 시스템을 통해 데이터 흐름을 추적하는 것은 불가능하며, 추적성 없이는 데이터의 기원을 결과와 매칭하는 것이 불가능합니다.

주요 의의 주장:

• 회고적 분석: 본 조사는 데이터 사용과 관련하여 지난 10년간의 LLM 연구를 종합적으로 검토합니다.
• 연구 영역 정의: 데이터 출처 역량을 갖춘 LLM 환경을 탐구함으로써 새로운 연구 영역을 확립합니다.
• 격차 식별: "잊힐 권리"에 대한 일반적인 솔루션의 부재, 합성 데이터 생성에 따른 편향 전파 위험, 라벨링된 데이터의 부족 등 중요한 격차를 식별합니다.
• 미래 로드맵: 데이터 클래스가 모델 파라미터로 전파되는 현상 조사, 데이터 오염(훈련 세트에 테스트 데이터 포함) 해결, 모델에서 개인 정보 탐지 및 삭제 방법 개발과 같은 향려 방향을 제시합니다.

저자들은 LLM으로 유입되는 데이터 소스의 기원을 추적하는 것이 모델의 결정을 속성 부여하고, 투명성을 높이며, AI 연구의 재현성을 보장하는 데 필수적이라고 결론짓습니다. 그들은 데이터의 출처를 유지하기 위한 능동적인 프로세스가 없다면, 파라미터화 과정에서 정보가 손실되어 생성된 출력을 원래의 소스에 귀속시킬 수 없음을 강조합니다.