🤖 AI

Agentic Data Cleaning Without a Clean Reference: An Experimental Study of Capabilities and Trade-offs

본 논문은 참조 없는 데이터 정제(reference-free data cleaning)를 위한 7가지 에이전트 구성(agentic configurations)을 평가하는 실험적 연구를 제시하며, 근거 기반(evidence grounding) 및 보수적 복구(conservative repair)와 같은 고급 기능들이 안전성과 재현성을 향상시키기는 하지만, 모든 기준에서 일관된 개선을 제공하기보다는 탐지 성능과 운영 비용 측면에서 상당한 트레이드오프를 유발한다는 점을 밝히고 있다.

원저자: Hadi Fadlallah

게시일 2026-08-18

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Hadi Fadlallah

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

데이터의 세계에서 숫자와 기록은 대출 승인부터 질병 진단, 환경 안전 추적에 이르기까지 우리 삶을 결정짓는 의사결정의 원재료입니다. 하지만 이 원재료가 완벽한 경우는 드뭅니다. 누락된 항목, 불가능한 날짜, 혹은 언뜻 보기에 잘못되어 보이는 값들이 포함되어 있는 경우가 많습니다. 데이터를 다루는 모든 이들에게 핵심적인 과제는, 수정이 필요한 실제 실수와 실제로 존재하는 드물고 특이한 사건을 구별하는 것입니다. 만약 센서가 갑작스러운 방사능 수치 급증을 기록했다면, 그것은 고장 난 기계 때문일 수도 있지만, 반드시 보존되어야 할 실제적이고 위험한 사건일 수도 있습니다. 은행 거래가 수상해 보인다면, 그것은 사기일 수도 있지만, 정당하지만 이례적인 구매일 수도 있습니다. 전통적으로 이러한 데이터를 정제하려면 비교 대상이 될 신뢰할 수 있는 완벽한 버전의 데이터셋이 필요했지만, 현실 세계에서는 그러한 완벽한 참조 모델이 존재하는 경우가 거의 없습니다. 이는 데이터 과학자들을 어려운 상황에 빠뜨립니다. 무엇이 정답인지 확신할 수 없을 때, 어떻게 문제를 해결할 것인가 하는 문제입니다.

최근 인공지능의 발전은 '에이전트(agent)'를 활용한 새로운 접근 방식을 도입했습니다. 에이전트는 추론하고 도구를 사용하여 문제를 해결할 수 있는 컴퓨터 프로그램입니다. 이러한 에이전트는 데이터를 읽고, 패턴을 포착하며, 심지어 오류를 수정하기 위한 코드를 작성할 수도 있습니다. 이러한 지능형 시스템이 완벽한 참조 가이드 없이도 스스로 데이터를 정제할 수 있기를 기대해 왔습니다. 하디 파들라(Hadi Fadlallah)의 새로운 연구는 이것이 얼마나 잘 작동하는지를 정확히 탐구합니다. 이 연구는 근본적인 질문을 던집니다. 만약 우리가 AI 에이전트에게 외부 사실 검색, 코드 기반의 자가 검증, 또는 엄격한 안전 규칙 준수와 같이 더 강력한 도구들을 제공한다면, 그 에이전트가 위험한 실수를 저지르지 않으면서 실제로 데이터 정제 능력이 향상되는가 하는 점입니다. 이 연구는 더 많은 능력이 반드시 더 나은 결과로 이어진다고 가정하지 않습니다. 대신, 다양한 역량이 추가되거나 제거될 때 어떤 일이 발생하는지 확인하기 위한 세심한 실험으로 이 과정을 다룹니다.

그 답을 찾기 위해, 연구자는 매우 다른 세 가지 유형의 실제 데이터인 신용 결정을 위한 금융 기록, 임상 건강 기록, 그리고 환경 방사능 모니터링 로그를 사용하여 통제된 실험을 설정했습니다. 연구는 두 가지 뚜렷한 테스트 환경을 구축했습니다. 첫 번째 환경에서 연구자는 누락된 값이나 불가능한 날짜와 같은 알려진 오류를 의도적으로 주입했을 뿐만 아니라, 변경해서는 안 되는 드물지만 유효한 신호들도 삽입했습니다. 이를 통해 에이전트가 오류를 얼마나 잘 찾아내는지, 그리고 결정적으로, 실제로 올바른 것을 수정하지 않고 얼마나 잘 유지할 수 있는지를 정밀하게 측정할 수 있었습니다. 두 번째 환경에서 에이전트는 수정되지 않은 원래의 데이터를 정제하도록 요청받았습니다. 이 실제 데이터에는 완벽한 정답지가 없었기 때문에, 이 실행 과정들은 에이전트가 얼마나 자주 망설리는지, 얼마나 많은 증거를 수집하는지, 그리고 얼마나 많은 시간과 컴퓨팅 자원을 소비하는지와 같은 에이전트의 행동을 관찰하는 데 사용되었습니다.

실험은 단순한 데이터 구조만을 살펴보는 기초적인 시스템부터 사용 가능한 모든 도구를 갖춘 고도로 복잡한 시스템에 이르기까지 일곱 가지 서로 다른 버전의 정제 에이전트를 테스트했습니다. 외부 확인 절차 없이 오직 인공지능 자체의 추론에만 의존하는 가장 단순한 버전은 매우 낮은 성능을 보였습니다. 이 버전은 대부분의 오류를 식별하는 데 실패했으며 종종 잘못된 가정을 내렸습니다. 그러나 연구진이 에이전트가 날짜 형식이 유효한지 확인하거나 숫자가 합리적인 범위 내에 있는지 검증하는 것과 같은 일반적인 컴퓨터 프로그램을 사용하여 명백한 오류를 체크할 수 있는 단계를 추가하자, 문제 포착 능력이 크게 향면되었습니다. 이는 인공지능이 사고하는 능력은 뛰어나지만, 기본적인 구조적 실수를 잡아내는 데 있어서는 결정론적인 단순 컴퓨터 체크만큼 신뢰할 수 있는 것은 아님을 시사합니다.

연구진이 증거를 찾기 위해 로컬 문서 라이브러리를 검색하거나 신뢰도를 기준으로 출처의 순위를 매기는 능력과 같은 더 정교한 역량을 계속해서 추가함에 따라, 결과는 더욱 미묘해졌습니다. 이 모든 도구와 절대적으로 확실할 때만 변경을 수행한다는 엄격한 정책을 결합한 가장 발전된 시스템은 매우 신중하게 행동했습니다. 정답이 알려진 테스트에서, 이 신중한 시스템은 결코 안전하지 않은 변경이나 불필요한 수정을 하지 않았습니다. 이 시스템은 에이전트가 수정할 필요가 없는 것을 수정해 버리는 함정인 '과잉 정제(over-cleaning)'를 성공적으로 피했습니다. 그러나 이러한 극단적인 신중함에는 대가가 따랐습니다. 이 시스템은 직접적인 수리를 거의 수행하지 않았습니다. 시스템은 실수를 범할 위험을 감수하기보다 불확실한 사례를 인간의 검토를 위해 표시하거나 그대로 두는 쪽을 택했습니다. 이는 안전한 전략이지만, 수정이 가능했을 수도 있는 많은 경우에도 실제로 데이터를 정제하지 못했다는 것을 의미합니다.

연구는 또한 이러한 다양한 접근 방식의 실질적인 비용을 측정했습니다. 가장 신중한 시스템(A6)은 가장 느렸고 가장 많은 컴퓨팅 파워를 요구했는데, 원래 데이터에 대한 단 한 번의 실행에 거의 2분이 소요되었으며 막대한 디지털 자원을 사용했습니다. 반면, 결정론적인 체크에 의존했던 시스템(A1)은 거의 즉각적이었으며 컴퓨팅 파워를 거의 사용하지 않았습니다. 연구 결과, 더 많은 도구를 추가하는 것이 성능의 꾸준한 향상으로 이어지지는 않는다는 것이 밝혀졌습니다. 대신, 각각의 새로운 역량은 트레이드오프(trade-off)를 도입했습니다. 오류를 가장 잘 찾아내는 시스템이 실수를 피하는 데 가장 뛰어난 시스템은 아니었으며, 가장 안전한 시스템이 실행 비용이 가장 많이 드는 시스템이었습니다. 모든 면에서 탁월한 단 하나의 '완벽한' 에이전트는 존재하지 않았습니다.

궁극적으로, 이 연구는 인간의 감독 없이 어떤 데이터셋이든 정제할 수 있는 완전 자율 에이전트라는 개념이 아직 현실이 아님을 시사합니다. 이 연구는 인공지능이 데이터 정제 과정에서 강력한 파트너가 될 수 있지만, 그 추론이 확실한 증거와 엄격한 안전 규칙에 근거할 때 가장 잘 작동한다는 것을 보여줍니다. 가장 효과적인 접근 방식은 명백한 오류를 잡기 위한 단순하고 신뢰할 수 있는 컴퓨터 체크와 복잡하거나 모호한 사례를 처리하기 위한 신중하고 증거 기반의 전략을 결합하는 것으로 보입니다. 연구진은 단 하나의 전능한 기계를 만드는 대신, 데이터 과학자들이 각자의 작업에 따른 특정 위험과 요구 사항에 따라 어떤 도구를 사용할지 신중하게 선택해야 한다고 결론짓습니다. 만약 실수의 비용이 높다면, 빠르게 행동하지만 틀릴 수 있는 시스템보다는 망설이며 인간의 도움을 요청하는 시스템이 더 바람직합니다. 이 연구는 데이터 정제의 세계에서 무언가를 고치려는 지나친 열의가 아무것도 하지 않는 것만큼이나 위험할 수 있음을 보여주며, 이러한 트레이드오프에 대한 명확한 지도를 제공합니다.

기술 요약: 참조 데이터가 없는 상태에서의 에이전트 기반 데이터 클리닝

문제 정의

본 논문은 에이전트가 신뢰할 수 있는 "클린(clean)" 정답( $X^*$ )에 접근할 수 없는 상태에서 데이터 오류를 식별하고 잠재적으로 수정해야 하는 **참조 없는 데이터 클리닝(reference-free data cleaning)**의 과제를 다룬다. 이러한 환경에서 특이값(unusual values)은 근본적인 모호성을 지닌다. 즉, 이 값들이 실제 오류인지, 드물지만 유효한 관측치인지, 문서화되지 않은 관례인지, 혹은 전문가의 검토가 필요한 사례인지가 불분명하다. 특히 임상 기록, 금융, 방사선 모니터링과 같은 고위험 도메인에서는 강력한 근거 없이 이러한 값을 직접 수정하는 것이 과학적, 운영적, 또는 규제적 의미를 훼st할 위험이 있다.

핵심 문제는 이를 단순한 변환 작업이 아닌 **근거에 기반한 의사결정(evidence-grounded decision-making)**으로 프레임화하는 것이다. 에이전트는 후보 문제를 탐지하는 것과 값을 수정하는 것을 구분해야 하며, 모든 수정이 충분한 근거, 운영적으로 검증 가능한 규칙, 그리고 자동 수정보다 유효한 신호를 보존하는 것을 우선시하는 보수적인 정책에 의해 뒷받침되도록 보장해야 한다.

방법론

프레임워크 아키텍처

본 연구는 클리닝 프로세스를 다음과 같은 다단계 워크플로로 구조화하는 근거 기반 에이전트 프레임워크를 제안한다:

컨텍스트 구축: 에이전트는 소스, 구조, 의미, 시간, 사용, 리스크, 정책 및 출처 특성을 포괄하는 구조화된 클리닝 컨텍스트( $\Gamma_X$ )를 구축한다.
이슈 탐지 및 근거 획득: 에이전트는 데이터셋 프로파일링을 통해 후보 이슈를 식별하고, 내부(스키마, 분포) 및 외부(제어된 코퍼스) 근거를 검색한다.
규칙 구축 및 의사결정 분류: 근거의 강도(권위, 관련성, 특이성, 일관성, 시간적 유효성에 의해 가중치 부여)를 바탕으로, 에이전트는 검증 규칙을 생성하고 의사결정을 다음과 같은 보수적인 액션 세트로 분류한다: 안전한 수정(safe repair), 조건부 수정(conditional repair), 플래그 지정 전용(flag-only), 보존(preserve), 인간 검토(human review), 또는 수정 거부(reject repair).
실행 및 프로비넌스(Provenance): 수정은 정당성이 확보된 경우에만 실행되며, 원본 값을 보존하고 전체 프로비넌스(프롬프트 컨텍스트, 출처, 도구 출력 및 변환 과정)를 기록하는 가역적 스크립트를 사용한다.

실험 설계

본 연구는 특정 역량의 영향을 격리하기 위해 7가지 구성( $A0$ – $A6$ )에 걸친 **점진적 절제 연구(progressive ablation study)**를 채택하였다:

베이스라인:
- A0: 스키마 전용 LLM (프로파일링, 도구, 근거 없음).
- A1: 결정론적 프로파일링 및 검사 (LLM 미사용).
점진적 LLM 시퀀스:
- A2: LLM + 프로파일링 요약.
- A3: A2 + 실행 가능한 Python 도구 (검증, 가역적 스크립트).
- A4: A3 + 제어된 로컬 근거 검색.
- A5: A4 + 출처 순위 지정 및 인용 정렬 검사.
- A6: A5 + 전체 보수적 수정 정책.

데이터셋 및 평가:
실험은 세 가지 데이터셋(독일 신용 데이터, EHR, 방사선 모니터링)을 두 가지 모드로 활용하였다:

합성 오염(Synthetic Corruption): 주입된 알려진 오류와 유효한 신호를 사용하여 정답(ground truth) 대비 탐지 정밀도/재현율, 수정 정확도, 신호 보존력을 측정한다.
원본 데이터(Original Data): 수정되지 않은 데이터에 구성을 적용하여 행동, 근거 사용 및 운영 비용에 대한 기술적 분석을 수행한다 (정답 없음).

연구는 126회의 성공적인 실행(3개 데이터셋 × 2개 모드 × 7개 구성 × 3회 반복)을 수행하였다.

주요 기여

컨텍스트의 공식화: 본 논문은 참조 없는 클리닝에 필요한 구조화된 클리닝 컨텍스트( $\Gamma_X$ )와 의사결정 분류 체계(사전 지식, 도구 능력, 근거 유형 및 의사결정 클래스)를 공식화한다.
근거 기반 프레임워크: 탐지와 수정을 명시적으로 분리하고, 근거 없는 수정의 위험을 완화하기 위해 보수적 정책, 가역성 및 프로비넌스 로깅을 강제하는 프레임워크를 제안한다.
경험적 트레이드오프 분석: 통제된 절제 연구를 통해, 특정 에이전트 역량(프로파일링, 도구, 근거 검색, 인용 정렬, 보수적 정책)이 복잡성 증가에 따른 단조로운 개선을 가정하기보다 클리닝 행동에 어떻게 영향을 미치는지에 대한 경험적 증거를 제공한다.

결과

합성 오염 평가

탐지 성능: **결정론적 프로파일링 베이스라인(A1)**이 가장 높은 탐지 F1 점수(0.561)를 달성했다. LLM 기반 구성 중에는 **전체 보수적 구성(A6)**이 가장 높은 F1 점수(0.421)를 기록했으나, 모든 기준에서 압도적인 구성은 없었다.
수정 정확도: 직접적인 수정 성공률은 제한적이었다. 오직 A3(LLM + 실행 가능 도구)만이 0이 아닌 수정 일치율(0.028)을 달성했다. A6는 안전하지 않거나 불필요한 수정을 전혀 발생시키지 않았으나, 직접적인 수정도 수행하지 않아 합성 설정에서 수정을 자제하는 모습을 보였다.
근거 기반 구축: 출처 순위 지정 및 인용 정렬을 포함한 구성(A5, A6)이 가장 낮은 근거 없는 규칙 비율(unsupported-rule rates)(0.037)을 기록했다. 그러나 인용 정렬(인용된 근거가 의사결정을 직접적으로 뒷받침하는 정도)은 여전히 약함(0.036–0.041)을 보여, 근거를 검색하고 순위를 매기는 것이 반드시 강력한 의사결정 수준의 근거 확보를 보장하지는 않음을 나타냈다.
신호 보존: A1은 유효한 신호를 1.000의 비율로 보존했으나 동시에 안전하지 않은 수정도 발생시켰다. A6는 수정을 피함으로써 유효한 신호를 보존했으며, 행동이 플래그 지정 및 에스컬레이션(escalation)으로 이동했음을 보여주었다.

원본 데이터 및 운영 비용

행동 변화: 역량이 추가됨에 따라 시스템은 더 보수적으로 변했다. 원본 데이터에서 A1이 가장 높은 근거 커버리지(0.627)를 생성한 반면, A6의 근거 커버리지는 0.556이었다. A6는 원본 데이터 요약에서 가장 높은 인간 검토 회부율(0.111)을 기록하며 A2와 동률을 이루었다.
비용: 전체 보수적 구성(A6)은 가장 높은 운영 비용을 발생시켰다. 원본 데이터 모드에서 평균 실행 시간은 138.9초, 14,803 토큰이었으며, 이는 결정론적 A1 베이스라인(0.08초, 0 토큰)과 대조적이다.
재현성: 결정론적 베이스라인(A1)은 LLM 기반 구성보다 높은 재현성(0.500 완전 일치)을 보였으나, A5와 A6도 적절한 재현성(0.444)을 유지했다.

의의 및 주장

본 논문은 에이전트 역량을 추가하는 것이 지속적인 개선보다는 트레이드오프를 도입한다고 겸허하게 주장한다. 연구를 통해 다음을 입증하였다:

구조화된 근거의 중요성: 프로파일링과 실행 가능한 도구는 단순한 LLM 추론보다 탐지 및 검증 능력을 크게 향상시킨다.
근거 검색 $\neq$ 근거 기반 구축: 출처 순위 지정이 근거 없는 규칙을 줄이기는 했으나, 결정이 인용된 근거와 강력하게 정렬되도록 보장하지는 못했다.
보수성은 트레이드오프이다: 전체 보수적 정책(A6)은 안전하지 않은 수정을 제거했지만, 직접적인 수정 능력과 운영 비용의 증가를 대가로 했다.
보편적 솔루션은 없다: 단일 구성이 탐지, 수정, 안전성, 근거 기반 구축, 재현성 및 비용 전반에 걸쳐 우위를 점하지 못했다.

주요 기여는 감사가 가능한 프레임워크와 평가 방법론을 제공하여, 연구자와 실무자가 이러한 트레이드오프를 명시적으로 측정할 수 있도록 한 점이다. 본 연구는 참조 없는 에이전트 기반 데이터 클리닝을, 더 많은 자율적 추론이 반드시 더 나은 클리닝으로 이어진다고 가정하기보다는, 클리닝 목적, 가용 근거, 그리고 잘못된 수정의 결과에 따라 역량 구성을 선택해야 하는 다목적 최적화 문제로 간주해야 한다고 결론짓는다.