Using ChatGPT for Data Science Analyses

Este artigo avalia o potencial do ChatGPT como copiloto quantitativo em fluxos de trabalho de ciência de dados, demonstrando suas capacidades em exploração, visualização e modelagem supervisionada e não supervisionada, ao mesmo tempo em que destaca a necessidade de considerar cuidadosamente suas limitações.

O essencial

🤖 O Copiloto que Aprende (mas às vezes sonha acordado): Um Guia sobre ChatGPT na Ciência de Dados

Imagine que você é um cozinheiro tentando preparar um banquete complexo (a Ciência de Dados). Antigamente, você tinha que cortar todos os legumes, medir os temperos e controlar o fogo sozinho. Depois, vieram as máquinas de lavar louça e processadores de alimentos (os softwares estatísticos antigos como R ou Python), que ajudaram muito, mas ainda exigiam que você soubesse exatamente qual botão apertar.

Agora, chega o ChatGPT com o plugin de Análise de Dados (DA). Pense nele como um ajudante de cozinha superinteligente, mas que nunca trabalhou em uma cozinha antes. Ele leu milhões de receitas (livros e códigos), sabe o nome de todos os ingredientes e pode operar o processador de alimentos para você.

O artigo de Ozan Evkaya e Miguel de Carvalho é como um relatório de teste desse novo ajudante. Eles colocaram o "ajudante" para trabalhar em duas tarefas principais: cozinhar pratos simples (explorar dados) e tentar criar um menu gourmet complexo (criar modelos de previsão).

Aqui está o que eles descobriram:

1. A Entrada na Cozinha: Explorando os Dados 🥗

A Analogia: Imagine que você entrega uma sacola cheia de legumes misturados (seus dados) para o ajudante e diz: "O que temos aqui?".

• O que ele fez de bom: O ajudante foi excelente em organizar a despensa. Ele separou os legumes por tipo, contou quantos havia de cada um e fez gráficos bonitos (como fotos dos ingredientes). Se você pedisse "mostre o preço das laptops", ele criava gráficos de barras instantaneamente.
• Onde ele tropeçou: Às vezes, ele inventava detalhes. Em um gráfico, ele disse que os preços estavam em uma escala diferente do que realmente eram (como se dissesse que uma cenoura era gigante quando era pequena). Ele também às vezes escolhia cores feias para os gráficos ou misturava os rótulos, tornando difícil de ler.
• A Lição: Ele é ótimo para dar uma olhada rápida e organizar as coisas, mas você precisa olhar por cima para garantir que ele não está alucinando (inventando fatos).

2. Tentando Prever o Futuro: Modelos de Aprendizado Supervisionado 🔮

A Analogia: Agora, você pede ao ajudante para prever o preço de uma casa futura baseada no tamanho e no número de quartos. É como tentar adivinhar o resultado de um jogo de futebol baseado no histórico dos times.

• O que ele fez de bom: O ajudante sugeriu métodos inteligentes. Ele disse: "Vamos usar uma régua simples (Regressão Linear) primeiro". Ele até criou os gráficos de diagnóstico para ver se a régua estava reta.
• Onde ele tropeçou:
  • A "Mágica" da Previsão Negativa: Em um teste, o modelo dele sugeriu que uma casa poderia ter um preço negativo (você pagaria para alguém levar a casa embora!). Isso é impossível na vida real. O ajudante não percebeu esse erro lógico.
  • O "Sonho" do Modelo Complexo: Quando pediram um modelo de rede neural (uma inteligência artificial mais complexa), o ajudante tentou rodar, mas o sistema dele não tinha a ferramenta necessária (como tentar usar um liquidificador que não tem energia). Ele teve que pedir para você fazer em outro lugar.
  • A Falta de Crítica: Ele apresentou os números, mas não explicou por que eles estavam certos ou errados. Ele parecia um aluno que copiou a resposta do livro sem entender a lição.

3. Encontrando Padrões Escondidos: Aprendizado Não Supervisionado 🕵️‍♂️

A Analogia: Aqui, você entrega uma caixa de brinquedos misturados e pede para o ajudante agrupá-los sem dizer quais são iguais. "Separe os que são parecidos".

• O que ele fez de bom: Ele sugeriu usar uma técnica chamada "Método do Cotovelo" (uma forma de decidir quantos grupos fazer). Ele fez o gráfico e explicou que, às vezes, não há um "cotovelo" óbvio, e que é preciso usar o bom senso.
• Onde ele tropeçou: Ele foi um pouco genérico. A explicação foi correta, mas faltou a profundidade de um especialista humano que saberia exatamente qual grupo fazer com base no contexto real.

4. O Veredito Final: O Ajudante é um Mestre? 🏆

O artigo conclui com uma mensagem muito importante: O ChatGPT é um "Copiloto", não o Piloto.

• O que ele é: Uma ferramenta incrível para acelerar o trabalho, para quem não sabe programar e para quem precisa de uma ideia inicial rápida. Ele pode escrever o código, fazer os gráficos e sugerir o próximo passo.
• O que ele NÃO é: Um substituto para o cientista de dados. Ele pode cometer erros bobos, alucinar números e não entender a lógica profunda dos problemas (como preços negativos).

A Metáfora Final:
Usar o ChatGPT para análise de dados é como ter um GPS muito avançado. Ele pode te levar pelo caminho mais rápido e mostrar o mapa. Mas, se o GPS disser "vire à direita" e houver um abismo ali, você precisa ter o bom senso de frear. Se você seguir cegamente o GPS sem olhar pela janela, vai cair no buraco.

Resumo em uma frase:
O ChatGPT é um assistente poderoso que pode fazer 80% do trabalho braçal e de organização, mas os 20% restantes (a crítica, a lógica e a responsabilidade final) devem ser feitos por um humano experiente. Sem esse olhar humano, os resultados podem ser bonitos, mas errados.

Resumo técnico

Título: Usando ChatGPT para Análises de Ciência de Dados

Autores: Ozan Evkaya e Miguel de Carvalho (Escola de Matemática, Universidade de Edimburgo)

---

1. Problema e Contexto

O campo da Ciência de Dados está passando por transformações irreversíveis devido aos avanços recentes em Inteligência Artificial Generativa (IA). Embora ferramentas como o plugin de Análise de Dados (DA) do OpenAI (ChatGPT) ofereçam suporte poderoso como um "copiloto quantitativo", existe uma lacuna na compreensão empírica de suas limitações e capacidades reais em fluxos de trabalho estatísticos.

O problema central abordado é a necessidade de avaliar se essas ferramentas de Linguagem de Grande Modelo (LLM) podem operar de forma confiável em tarefas de ciência de dados sem supervisão humana crítica. O artigo questiona se o DA pode substituir a análise profissional ou se deve ser tratado apenas como uma ferramenta auxiliar, dado o risco de alucinações, vieses e interpretações estatísticas incorretas.

2. Metodologia

Os autores realizaram uma avaliação prática e iterativa das capacidades do plugin de Análise de Dados do ChatGPT, utilizando uma abordagem de "copiloto" onde o usuário guia a conversa, mas segue as sugestões da IA.

• Conjuntos de Dados Utilizados:
  • Laptop Prices (Kaggle): Utilizado para Análise Exploratória de Dados (AED), visualização e correlação.
  • Duke Forest (pacote openintro em R): Utilizado para tarefas de aprendizado supervisionado (regressão) e não supervisionado (agrupamento/clustering).
• Abordagem Experimental:
  • Prompting: Os autores testaram prompts simples (zero-shot) e prompts repetidos, seguindo as sugestões geradas pelo DA.
  • Avaliação: Cada saída (código, gráficos, interpretações) foi avaliada com um sistema de classificação por estrelas (de 1 a 5) e criticada tecnicamente quanto à precisão estatística, adequação do modelo e qualidade da visualização.
  • Escopo: A análise cobriu desde o carregamento de dados e pré-processamento até modelagem supervisionada (regressão linear, árvores de decisão, redes neurais, bayesiana) e não supervisionada (K-means).

3. Contribuições Principais

O artigo contribui para a literatura ao:

1. Mapear o Fluxo de Trabalho: Demonstrar como o plugin DA atua na prática, desde a ingestão de dados (CSV, XLSX) até a geração de código Python executável em um ambiente sandbox.
2. Identificar Limitações Críticas: Revelar falhas específicas da IA em contextos estatísticos, como a escolha inadequada de escalas de gráficos, interpretação errônea de valores de correlação e a aplicação de métricas de avaliação (como $R^2$) em modelos não lineares onde não são apropriadas.
3. Definir o Papel do Humano: Argumentar que, apesar do potencial de automação, a supervisão humana é indispensável. O DA funciona melhor como um assistente para etapas exploratórias do que como um substituto completo para analistas de dados experientes.
4. Fornecer um Guia Prático: Oferecer exemplos concretos de onde a IA falha (ex: modelos Bayesianos que falham devido à complexidade computacional no sandbox) e onde ela tem sucesso (ex: geração de código para visualização básica).

4. Resultados e Descobertas

A. Exploração e Visualização de Dados

• Pontos Fortes: O DA carrega dados facilmente e gera visualizações básicas (histogramas, boxplots) com alta eficiência.
• Pontos Fracos:
  • Erros de Interpretação: O DA sugeriu incorretamente que os preços estavam em escala logarítmica quando não estavam.
  • Visualização Inadequada: Em alguns casos, usou gráficos de barras para representar distribuições que exigiam boxplots, ou criou gráficos de mosaico com rótulos sobrepostos e ilegíveis.
  • Inconsistência: A interpretação numérica dos dados (ex: coeficientes de correlação) nem sempre correspondia aos valores reais gerados nos gráficos (ex: relatar 0.74 quando o gráfico mostrava 0.68).

B. Aprendizado Supervisionado (Regressão)

• Regressão Linear: O DA forneceu um roteiro sólido para a construção do modelo, mas falhou em alertar sobre a possibilidade de previsões de preços negativos (um problema comum em regressão linear aplicada a preços) e não mencionou diagnósticos de resíduos inicialmente.
• Modelos Complexos:
  • O DA sugeriu modelos como Random Forest e SVM, mas a seleção parecia aleatória sem uma justificativa profunda baseada no contexto dos dados.
  • Métrica Inadequada: O DA utilizou o $R^2$ para avaliar modelos não lineares (como SVM), resultando em valores negativos, sem explicar que essa métrica é problemática para modelos não lineares.
  • Redes Neurais: O DA tentou implementar uma rede neural, mas falhou devido à indisponibilidade da biblioteca TensorFlow no ambiente sandbox. Ofereceu o código para execução externa, mas com pouca orientação sobre arquitetura e hiperparâmetros.
  • Modelos Bayesianos: A tentativa de ajustar um modelo de regressão linear bayesiana falhou devido à complexidade computacional e ao tempo de execução no sandbox.

C. Aprendizado Não Supervisionado

• Clustering (K-means): O DA conseguiu implementar o algoritmo e o método do "cotovelo" (Elbow Method) para determinar o número de clusters.
• Interpretação: A interpretação do gráfico do método do cotovelo foi razoável, reconhecendo a falta de um "cotovelo" claro e sugerindo que a escolha final dependesse de conhecimento de domínio.

5. Significado e Conclusão

O artigo conclui que o plugin de Análise de Dados do ChatGPT é uma ferramenta promissora para automatização assistida (co-piloto), mas não para automação completa em tarefas complexas de ciência de dados.

• Para Iniciantes: O uso sem supervisão meticulosa pode ser prejudicial ao processo de aprendizado, pois a IA pode gerar outputs enganosos que o usuário não tem capacidade de validar.
• Para Profissionais: A ferramenta é útil para acelerar a exploração de dados e a geração de código inicial, mas exige validação rigorosa de premissas estatísticas, escolha de modelos e interpretação de resultados.
• Futuro: O futuro da Ciência de Dados com IA exigirá uma abordagem híbrida, integrando frameworks de multi-agentes e ferramentas de AutoML, mas sempre com supervisão de especialistas humanos para garantir a integridade estatística e a validade dos insights.

Em suma, o DA é um acelerador de produtividade, mas não um substituto para o pensamento crítico e o conhecimento estatístico profundo.