A Grammar of Machine Learning Workflows

Este artigo propõe uma solução estrutural para o vazamento de dados em workflows de aprendizado de máquina, introduzindo uma gramática baseada em grafos acíclicos direcionados com restrições de tempo de execução que previnem falhas críticas de avaliação, superando as abordagens tradicionais baseadas apenas em documentação.

O essencial

Imagine que você é um chef de cozinha tentando criar o prato perfeito para um concurso de culinária. O problema é que, muitas vezes, os chefs cometem um erro grave: eles provam a comida antes de ela estar pronta, ou pior, eles provam a comida do julgador (o prato que será apresentado ao juiz) enquanto ainda estão cozinhando.

Quando isso acontece, o chef ajusta o tempero baseado no que o juiz vai comer. O resultado? O prato parece incrível para o chef, mas quando o juiz prova, é apenas uma comida mediana. Na ciência de dados, chamamos isso de "vazamento de dados" (data leakage). É como se o aluno lesse as respostas do exame antes de fazer a prova.

Este artigo, escrito por Simon Roth, propõe uma solução radical para esse problema. Ele não quer apenas criar uma "lista de verificação" para lembrar os chefs de não fazerem isso. Ele quer construir uma cozinha inteligente que fisicamente impede que o erro aconteça.

Aqui está a explicação do conceito, usando analogias simples:

1. O Problema: A Cozinha Bagunçada

Atualmente, na programação de Inteligência Artificial (Machine Learning), os cientistas de dados têm liberdade total. Eles podem pegar todos os dados, misturá-los, ajustar o tempero (treinar o modelo) e depois tentar adivinhar se o prato ficou bom.

• O erro: Muitas vezes, eles usam a "prova final" (os dados de teste) para ajustar o tempero durante o processo.
• A consequência: O modelo parece ter 99% de precisão, mas na vida real, quando aplicado a novos dados, ele falha miseravelmente. Isso já aconteceu em centenas de artigos científicos publicados.

2. A Solução: A Gramática da Cozinha (O "Cozinha-Gramática")

O autor propõe uma "Gramática". Pense nisso como um manual de instruções rígido que transforma a cozinha em um sistema onde certos erros são impossíveis de cometer.

Em vez de confiar na memória do chef, o sistema tem regras físicas:

• Regra 1: Você não pode tocar no prato do juiz até que a cozinha esteja fechada.
• Regra 2: Você só pode provar o prato de teste uma única vez. Se tentar provar de novo, a porta se tranca.

3. Os 7 "Verbos" (As Ferramentas da Cozinha)

O autor reduziu todo o processo de criação de um modelo de IA para apenas 7 ações básicas (primitivas), que funcionam como uma linha de montagem:

1. Dividir (Split): Você pega os ingredientes brutos e os separa em três caixas trancadas:
   • Caixa de Treino: Para aprender a cozinhar.
   • Caixa de Validação: Para provar e ajustar o tempero (pode provar quantas vezes quiser aqui).
   • Caixa de Teste (O Juiz): Trancada. Ninguém pode abrir até o final.
2. Preparar (Prepare): Limpar e cortar os ingredientes.
3. Treinar (Fit): Cozinhar o prato usando a "Caixa de Treino".
4. Prever (Predict): Tentar adivinhar o sabor.
5. Avaliar (Evaluate): Provar o prato na "Caixa de Validação". Você pode fazer isso 100 vezes, ajustar o sal, o pimentão, e provar de novo. É o seu "rascunho".
6. Explicar (Explain): Perguntar ao chef: "Por que você usou tanto sal?". (Isso é apenas diagnóstico).
7. Avaliar Final (Assess): O momento da verdade. Você abre a "Caixa de Teste" (o Juiz) e prova o prato uma única vez.
   • A Mágica: Assim que você prova essa última vez, o sistema marca o prato como "Avaliado". Se você tentar provar de novo, o sistema diz: "Não! Você já provou. O resultado é final." O sistema bloqueia qualquer tentativa de reabrir a caixa.

4. Por que isso é revolucionário?

Antes, se um cientista de dados quisesse trapacear (usar os dados de teste para ajustar o modelo), ele precisava apenas ter "má intenção" ou esquecer a regra. O computador não impediria.

Com essa nova "Gramática":

• O computador é o guarda: Se você tentar usar os dados de teste para treinar o modelo, o sistema recusa o comando.
• O computador é o juiz: Se você tentar provar o prato de teste duas vezes, o sistema trava.
• É impossível trapacear: Você não consegue nem escrever o código errado, porque a "porta" está trancada.

5. A Analogia do "Exame Final"

Pense no processo de aprendizado de máquina como um estudante se preparando para o ENEM:

• Treino: O aluno estuda com o livro didático.
• Validação: O aluno faz simulados e pode corrigir, errar, refazer e estudar mais.
• Teste (Assess): O dia da prova real.
• O erro comum: O aluno rouba a prova real, estuda as respostas, e depois faz a prova. Ele tira 10, mas não sabe nada.
• A Gramática: É como se a sala de prova tivesse um vidro inquebrável. O aluno pode estudar quantas vezes quiser na sala de aula (validação), mas no dia da prova, ele só pode entrar uma vez. Se ele tentar entrar de novo para ver a resposta, a porta não abre. O sistema garante que a nota final seja honesta.

Conclusão

O autor Simon Roth criou uma "Gramática" que transforma a ciência de dados de um campo onde "confiamos que as pessoas não vão trapacear" para um campo onde é fisicamente impossível trapacear sem quebrar as regras do sistema.

Ele provou isso criando o sistema em três linguagens de programação diferentes (Python, R e Julia) e testando com milhares de dados. O resultado? O sistema funciona. Ele impede que os modelos pareçam melhores do que realmente são, garantindo que a ciência seja honesta e confiável.

Em resumo: É como trocar uma cozinha onde o chef pode provar o prato do juiz por uma cozinha robótica onde o prato do juiz só sai da geladeira uma única vez, no final, e ninguém pode tocá-lo antes.

Resumo técnico

Resumo Técnico: A Gramática de Fluxos de Trabalho de Aprendizado de Máquina

1. O Problema

O artigo aborda a crise persistente de vazamento de dados (data leakage) na literatura científica de aprendizado de máquina. Cita-se um estudo de Kapoor e Narayanan (2023) que identificou vazamentos em 294 artigos publicados em 17 campos científicos.

• Falta de Eficácia das Soluções Atuais: A resposta dominante tem sido a documentação (listas de verificação, linters, guias de melhores práticas). O autor argumenta que a documentação não previne falhas, pois depende da memória e disciplina do pesquisador.
• Impacto: O vazamento afeta 17,5% dos estudos de neuroimagem e distorce conclusões meta-analíticas.
• Classes de Vazamento: O foco é em três classes onde os efeitos foram quantificados empiricamente:
  1. Classe I (Estimativa): Pré-processamento global antes da divisão dos dados (efeito geralmente negligenciável, $|d| < 0.1$).
  2. Classe II (Seleção): "Olhar" para os dados de teste durante a seleção de modelos ou hiperparâmetros (efeito grande: $d_z = 0.93$, inflação de AUC de +0,046).
  3. Classe III (Memorização): Treinar o modelo com dados que já foram usados para avaliação (efeito variável, $d_z = 0.53–1.11$, escalando com a capacidade do modelo).

2. Metodologia e Proposta

O autor propõe uma gramática formal que decompõe o ciclo de vida do aprendizado supervisionado em uma estrutura rígida, impedindo composições inválidas no momento da chamada (call time), em vez de detectá-las após o fato.

A Gramática

A gramática define um Grafo Direcionado Acíclico (DAG) tipado composto por 7 primitivas nucleares conectadas por regras de composição estritas:

1. split: Divide o DataFrame em partições (train, valid, test). Estabelece a fronteira de avaliação.
2. prepare: Normaliza, codifica e imputa características (opcional, pode ser feito dentro do fit).
3. fit: Treina o modelo. Exige dados com proveniência de divisão (train ou valid).
4. predict: Aplica o modelo a novos dados (sem restrições de partição).
5. evaluate: Mede métricas em dados de validação (valid). Pode ser repetido.
6. explain: Gera explicações (importância de características). Terminal, mas sem restrições de partição.
7. assess: Mede o desempenho final em dados de teste (test). Terminal e de uso único.

Restrições Rígidas (Hard Constraints)

A gramática impõe quatro restrições que rejeitam workflows inválidos através de verificações de tipo e guardas de tempo de execução:

1. Avaliação Única (assess): O método assess só pode ser chamado uma vez por modelo. Uma segunda chamada falha em uma guarda de estado (model.assessed = false), rejeitando o vazamento de Classe II.
2. Pré-processamento Pós-Split: O pré-processamento deve ocorrer após a divisão e, preferencialmente, por fold (dentro do fit), prevenindo vazamento de Classe I.
3. Transições Seguras de Tipo: Impede o ajuste (fit) de dados não registrados ou de teste, e a avaliação sem um modelo ajustado.
4. Sem Acesso a Rótulos Antes do Split: Impede a seleção de características baseada em rótulos antes da divisão dos dados.

Implementação

A gramática foi implementada em três linguagens independentes (Python, R e Julia) sem código compartilhado, apenas seguindo a especificação do anexo. Isso valida que a gramática é uma especificação formal e não apenas uma biblioteca específica.

3. Contribuições Principais

1. Mudança de Paradigma: Transição de "prevenção por documentação" para "prevenção por estrutura". O erro torna-se impossível de executar dentro da API da gramática.
2. A Distinção evaluate vs. assess: A contribuição central é a imposição de uma fronteira terminal onde o conjunto de teste é consumido exatamente uma vez, retornando um tipo Evidence (prova) que não pode ser usado como entrada para nenhuma outra primitiva.
3. Validação Empírica das Restrições: O autor realizou um estudo companheiro com 2.047 instâncias experimentais (e 3.759 adicionais para análise de escala) para quantificar o impacto do vazamento.
4. Falsificabilidade: A gramática gerou previsões testáveis antes dos resultados experimentais:
   • Previsão 1: Inflação por seleção de algoritmo (Screen inflation) -> Confirmada ($d = +0.27$).
   • Previsão 2: Vazamento em empilhamento (Stack leakage) -> Falsificada ($d = -0.22$), provando que a arquitetura de out-of-fold é segura.
   • Previsão 3: Inflação por seleção de sementes (Seed cherry-picking) -> Confirmada ($d = +0.88$).

4. Resultados Empíricos

O estudo companheiro (Roth, 2026) quantificou os efeitos do vazamento:

• Classe II (Seleção/Peeking): Inflação de desempenho significativa e persistente. Mesmo com tamanhos de amostra grandes ($N=2000$), existe um "piso assintótico" positivo de $d_\infty = 0.047$, indicando que o vazamento nunca desaparece completamente apenas aumentando os dados.
• Classe III (Memorização): Efeitos variam conforme a capacidade do modelo (árvores de decisão memorizam mais que florestas aleatórias).
• Calibração de CV: A cobertura nominal de 95% de intervalos de confiança em validação cruzada foi encontrada apenas em 55-70% dos casos, indicando subestimação da incerteza.
• Validação: 17/17 experimentos replicaram em conjuntos de descoberta e confirmação independentes.

5. Significado e Implicações

• Segurança Estrutural: A gramática garante a correção metodológica (validade estrutural) através do sistema de tipos, eliminando a dependência da memória do pesquisador para evitar vazamentos comuns.
• Limitações Reconhecidas:
  • A gramática previne erros estruturais, mas não erros semânticos (ex: escolher o algoritmo errado ou métricas inadequadas para dados desbalanceados).
  • Não previne "vazamento de otimização" (overfitting no conjunto de validação devido a muitas iterações de ajuste), embora permita o uso de Validação Cruzada Aninhada para mitigar isso.
  • O escopo atual é aprendizado supervisionado em dados tabulares (batch).
• Adoção Futura: O autor propõe um teste de validação externa (estudo randomizado) para medir se o uso da gramática reduz a taxa de vazamento em estudantes e pesquisadores em comparação com ferramentas tradicionais como scikit-learn.

Em suma, o artigo apresenta uma solução formal e implementável para um problema crônico na ciência de dados, transformando as melhores práticas de "regras a serem seguidas" em "regras de compilação" que rejeitam workflows metodologicamente incorretos antes que eles possam produzir resultados falsos.