Using ChatGPT for Data Science Analyses

이 논문은 생성형 AI 의 발전, 특히 OpenAI 의 데이터 분석 플러그인이 데이터 과학 워크플로우에 미치는 영향을 평가하며, 이를 양적 코파일럿으로서의 잠재력과 한계를 탐색 및 시각화, 지도 및 비지도 학습 모델링 등 다양한 작업에 적용하는 사례를 제시합니다.

핵심

🍳 제목: "요리사 ChatGPT 와 함께 요리를 해보자: 훌륭하지만, 요리사는 여전히 당신입니다"

이 논문의 저자들은 ChatGPT 의 '데이터 분석 (Data Analysis)' 기능을 마치 요리 실력이 뛰어난 조수처럼 시험해 보았습니다. 이 조수는 컴퓨터 언어 (Python) 를 알아서 코드를 짜고, 그래프를 그리고, 통계를 계산해 줍니다. 하지만 그 조수가 항상 완벽할까요?

1. 시작: 재료를 다듬는 일 (데이터 탐색 및 시각화)

저자들은 먼저 '노트북 가격' 데이터를 ChatGPT 에게 맡겼습니다.

• 성공한 점: ChatGPT 는 재료를 보고 "이 노트북들은 회사별로 몇 대씩 있네요?", "가격 분포는 어떤가요?"라고 바로 분석해 주었습니다. 마치 재료를 보고 "이건 고기, 저건 채소네요"라고 바로 분류해 주는 조수 같습니다.
• 문제점: 하지만 가끔 잘못된 설명을 하기도 했습니다. 예를 들어, 그래프를 그리는데 "이건 로그 스케일 (수학적 변환) 입니다"라고 말했지만, 실제로는 그냥 원래 숫자였습니다. 또, 너무 복잡한 그래프 (모자이크 플롯) 를 그릴 때는 라벨이 겹쳐서 읽기 힘들게 만들기도 했습니다.
• 교훈: 조수가 그래프를 잘 그려주지만, 결과물을 눈으로 확인하고 "이게 맞는 말이야?"라고 질문하는 것은 요리사 (사용자) 의 몫입니다.

2. 메인 요리: 예측 모델 만들기 (회귀 분석)

다음으로 집값 데이터를 가지고 "어떤 요인이 집값을 결정할까?"를 예측하는 모델을 만들게 했습니다.

• 성공한 점: ChatGPT 는 "선형 회귀 (직선으로 예측), 랜덤 포레스트 (여러 나무로 예측) 등 다양한 방법을 제안했습니다." 마치 "이 요리는 스테이크로 하거나, 스프로 해도 되는데 어떤 걸 원하세요?"라고 메뉴를 추천해 주는 것 같습니다.
• 위험한 점:
  1. 허위 사실 (할루시네이션): ChatGPT 는 "RAM 과 SSD 가 가격과 강한 상관관계가 있다"고 말했는데, 실제 숫자와는 조금 달랐습니다.
  2. 부적절한 선택: 복잡한 모델을 쓸 때는 "R2(모델 정확도 지표)"라는 것을 썼는데, 이건 비선형 모델에는 맞지 않는 지표였습니다. 마치 스파게티를 만들 때 '밥을 짓는 냄비'를 쓴 것과 비슷합니다.
  3. 심각한 오류: "음수 가격"이 나올 수도 있는 모델을 만들었는데, 이를 지적하지 않았습니다. 집값이 마이너스일 수는 없죠!
• 교훈: 조수가 요리를 제안하지만, 어떤 재료를 쓸지, 어떤 조리법이 적합한지는 전문가 (사용자) 가 판단해야 합니다.

3. 고급 요리: 신경망과 베이지안 (심화 분석)

더 복잡한 인공지능 모델 (신경망) 을 시도해 보았습니다.

• 결과: ChatGPT 는 "이 환경에서는 이 프로그램이 안 돌아갑니다"라고 오류를 뱉었습니다. 하지만 다행히도 "다른 곳에서 이 코드를 실행하세요"라고 대안을 제시했습니다.
• 한계: 너무 복잡한 통계 모델 (베이지안) 을 시도했을 때는 "계산이 너무 오래 걸려서 멈췄습니다"라고 포기해 버렸습니다.
• 교훈: ChatGPT 는 단순한 요리에는 훌륭하지만, 초고급 미슐랭 요리 (복잡한 수학 모델) 를 혼자서 완벽하게 해내기는 어렵습니다.

4. 결론: 조수는 조수일 뿐, 요리사는 당신입니다

이 논문의 핵심 메시지는 다음과 같습니다.

• ChatGPT 는 훌륭한 '코파일럿 (동반 조수)'입니다. 데이터 분석의 첫 단계인 자료 정리, 간단한 그래프 그리기, 아이디어 제안에는 매우 유용합니다.
• 하지만 '완전한 대체재'는 아닙니다. ChatGPT 는 가끔 숫자를 잘못 읽거나, 통계적 원리를 오해하거나, 편향된 답을 내놓을 수 있습니다.
• 가장 중요한 것은 '인간 감독'입니다. ChatGPT 가 내놓은 요리 (결과물) 를 맛보고, "이건 짜다", "이건 식감이 다르다"라고 지적할 수 있는 **전문적인 안목 (데이터 과학자의 지식)**이 반드시 필요합니다.

한 줄 요약:

"ChatGPT 는 데이터 과학이라는 거대한 주방에서 재료를 다지고 소스를 만들어주는 최고의 조수입니다. 하지만 최종 요리를 완성하고 맛을 볼 책임은 여전히 인간 요리사 (사용자) 에게 있습니다."

이 도구를 잘 쓰려면, 조수가 하는 말을 무조건 믿지 말고 **"왜 그렇게 했지?", "숫자가 맞는 거야?"**라고 끊임없이 질문하고 확인하는 태도가 필요합니다.

기술 요약

제공된 논문 "USING CHATGPT FOR DATA SCIENCE ANALYSES"에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 생성형 AI (Generative AI) 의 급속한 발전으로 데이터 과학 (Data Science) 워크플로우가 근본적으로 변화하고 있습니다. 특히 OpenAI 의 'Data Analysis (DA)' 플러그인은 강력한 양적 코파일럿 (quantitative co-pilot) 으로 부상했습니다.
• 문제: 이러한 도구가 데이터 탐색, 시각화, 모델링에 얼마나 효과적인지, 그리고 그 한계는 무엇인지에 대한 체계적인 평가가 부족합니다. LLM(대규모 언어 모델) 은 환각 (hallucination), 편향, 부정확성에 취약하며, 전문 데이터 분석가의 기술을 완전히 대체할 수 있는지에 대한 의문이 존재합니다.
• 목표: 본 논문은 ChatGPT 의 DA 플러그인이 데이터 과학 워크플로우에서 '코파일럿'으로서의 잠재력을 평가하고, 그 능력과 한계를 실증적으로 분석하는 것을 목적으로 합니다.

2. 연구 방법론 (Methodology)

• 사용 도구: OpenAI 의 ChatGPT Data Analysis (DA) 플러그인. 이 도구는 Python 인터프리터를 내장하여 샌드박스 환경에서 코드를 실행하고, 메모리 집약적 작업을 수행할 수 있습니다.
• 데이터셋:
  1. Laptop Dataset (Kaggle): 노트북 가격 데이터. 탐색적 데이터 분석 (EDA) 및 시각화 평가에 사용.
  2. Duke Forest Dataset (openintro R package): 부동산 가격 데이터. 지도학습 (Supervised Learning) 및 비지도학습 (Unsupervised Learning) 모델링 평가에 사용.
• 실험 설계:
  • 프롬프트 전략: 복잡한 프롬프트보다는 단순한 프롬프트를 사용하고, DA 가 제안하는 다음 단계 (suggestions) 를 따르는 방식으로 대화를 진행했습니다.
  • 평가 지표: 생성된 분석 결과, 시각화, 코드 정확도, 통계적 해석의 타당성을 5 점 척도 (Star Rating) 로 평가했습니다.
  • 평가 범위: 데이터 로딩/전처리, 시각화 (히스토그램, 상자 그림, 모자이크 플롯, 상관관계 히트맵), 지도학습 (선형 회귀, 비선형 모델, 신경망, 베이지안 회귀), 비지도학습 (k-means 군집화) 등 데이터 과학의 전 과정을 포괄했습니다.

3. 주요 기여 및 발견 (Key Contributions & Results)

A. 데이터 탐색 및 시각화 (Exploratory Analysis & Visualization)

• 강점: CSV, XLSX, TXT 파일 로딩이 원활하며, 데이터 요약 통계 (Descriptive Statistics) 생성과 기본 시각화 (막대 그래프, 상자 그림 등) 를 빠르고 정확하게 수행했습니다.
• 약점:
  • 오해의 소지가 있는 시각화: 노트북 가격 히스토그램에서 로그 스케일 (log scale) 이라고 잘못 해석하거나, 평균을 막대그래프로 표현하여 분포를 왜곡하는 경우가 있었습니다.
  • 가독성 문제: 모자이크 플롯 (Mosaic Plot) 생성 시 레이블이 겹치거나 색상 선택이 적절하지 않아 가독성이 떨어졌습니다.
  • 상관관계 해석 오류: 상관관계 히트맵의 수치 (예: RAM 과 가격의 상관관계 0.68) 와 DA 가 텍스트로 해석한 수치 (0.74) 가 불일치하는 경우가 발생했습니다. 또한 범주형 변수를 연속형처럼 취급하여 상관분석을 수행하는 등 통계적 적절성이 떨어지는 경우가 있었습니다.

B. 지도학습 (Supervised Learning)

• 회귀 분석 (Regression):
  • 선형 회귀: 데이터 전처리, 훈련/테스트 분할, 모델 평가 (R², MAE 등) 를 잘 수행했으나, 잔차 분석 (Residual Analysis) 과 같은 주요 진단 (diagnostics) 을 초기에 언급하지 않았으며, 선형 모델이 음수 가격을 예측할 수 있다는 논리적 오류를 지적하지 못했습니다.
  • 비선형 모델: 의사결정나무, 랜덤 포레스트, SVR 등을 제안했으나, SVR 의 음수 R² 값을 비선형 모델의 특성으로 설명하는 것은 적절했으나, R²가 비선형 모델에 적합하지 않다는 점을 간과했습니다.
  • 신경망 (Neural Network): TensorFlow 라이브러리가 샌드박스 환경에 없어 실행에 실패했으나, 외부 환경 (Jupyter 등) 에서 사용할 수 있는 코드를 제안했습니다. 그러나 샘플 크기 (n=98) 가 너무 작아 과적합 (overfitting) 위험이 있음에도 불구하고 이를 고려하지 않았습니다.
  • 베이지안 회귀: 계산 복잡도로 인해 실행이 중단되었으며, 성공적인 결과를 도출하지 못했습니다.

C. 비지도학습 (Unsupervised Learning)

• 군집화 (Clustering): k-means 군집화를 적용하고 엘보우 방법 (Elbow Method) 을 사용하여 최적의 군집 수 (k) 를 결정하는 과정을 수행했습니다.
• 해석: 생성된 엘보우 플롯에 대한 해석은 합리적이었으나, 명확한 '엘보우' 지점이 없는 경우의 대안 제시나 도메인 지식의 필요성을 강조하는 데는 한계가 있었습니다.

4. 결론 및 의의 (Conclusion & Significance)

• 핵심 결론: ChatGPT 의 DA 플러그인은 탐색적 데이터 분석 (EDA) 과 시각화에는 매우 유용한 도구이나, 모델링과 통계적 추론 단계에서는 인간의 감독과 비판적 사고가 필수적입니다.
• 한계:
  • 통계적 가정 (선형성, 정규성, 등분산성 등) 을 자동으로 진단하거나, 모델 선택의 타당성을 깊이 있게 비판하지는 못합니다.
  • 초보자가 이 도구를 무비판적으로 사용할 경우, 잘못된 통계적 결론에 도달하거나 학습 과정이 방해받을 수 있습니다.
  • 복잡한 작업 (하이퍼파라미터 튜닝, 베이지안 추론 등) 에는 아직 한계가 있습니다.
• 의의:
  • 이 연구는 LLM 기반 도구가 데이터 과학 워크플로우에서 '전체 자동화'가 아닌 '보조 자동화 (assistance-style automation)' 로서 가장 효과적임을 시사합니다.
  • 데이터 과학의 미래는 LLM 과 전문적인 통계 소프트웨어, 그리고 인간의 전문가 감독 (Human-in-the-loop) 이 결합된 하이브리드 워크플로우에 있을 것입니다.
  • DA 플러그인은 통계 소프트웨어 생태계에 새로운 패러다임을 제시하지만, 사용자는 생성된 결과에 대해 비판적으로 평가하고 검증해야 함을 강조합니다.

요약하자면, 본 논문은 ChatGPT DA 플러그인이 데이터 과학의 진입 장벽을 낮추고 워크플로우를 가속화할 수 있는 강력한 도구임을 인정하면서도, 통계적 엄밀성과 모델링의 정확성을 위해 전문가의 지속적인 감독과 비판적 검증이 필수적임을 강조하는 중요한 실증 연구입니다.