💻 computer science

Training as Treatment: A Causal Framework for Machine-Learning Evaluation

Este artigo introduz o "Treinamento como Tratamento", um arcabouço causal que modela atribuições de papéis de dados e escolhas de pipeline como intervenções para analisar rigorosamente métricas de avaliação de aprendizado de máquina, contabilizando a interferência induzida pelo modelo e permitindo diagnósticos mais robustos para equidade, vazamento e generalização.

Autores originais: Vikas Ramachandra

Publicado 2026-08-10

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Vikas Ramachandra

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Aperto de Mão Oculto do Aprendizado de Máquina

Imagine que você está tentando ensinar um robô a reconhecer gatos. Você mostra a ele milhares de fotos e ele aprende ajustando as configurações de seu "cérebro" interno. No mundo da ciência da computação, isso é chamado de aprendizado de máquina (machine learning). Mas aqui está a parte complicada: como sabemos se o robô é realmente inteligente ou se ele apenas memorizou as fotos específicas que você mostrou? Geralmente, os cientistas dividem seus dados em dois grupos: um grupo de "treinamento" para ensinar o robô e um grupo de "teste" para verificar seu trabalho.

Por muito tempo, os pesquisadores trataram essa divisão como um passo administrativo simples e entediante — como separar a roupa em "brancas" e "escuras". Eles assumiam que o grupo de teste era apenas um espelho neutro, refletindo a verdadeira habilidade do robô sem alterá-la. No entanto, uma nova forma de pensar sugere que a maneira como separamos esses dados é, na verdade, uma força poderosa que molda o cérebro do robô. Essa ideia vem de um campo chamado inferência causal, que é basicamente a ciência de descobrir o que causa o quê. Em vez de apenas observar as coisas acontecendo, a inferência causal pergunta: "Se eu tivesse feito as coisas de forma diferente, o que teria mudado?". No contexto da IA, isso significa perguntar: "Se eu tivesse movido esta foto específica do grupo de 'ensino' para o grupo de 'teste', o cérebro do robô teria mudado e sua pontuação final seria diferente?".

Esta é exatamente a pergunta que um pesquisador chamado Vikas Ramachandra aborda em um novo artigo intitulado "Training as Treatment" (Treinamento como Tratamento). O artigo argumenta que precisamos parar de tratar o processo de treinamento como uma rotina passiva e começar a tratá-lo como um experimento médico. Assim como um médico dá um medicamento específico a um paciente para ver se ele cura uma doença, devemos ver o ato de alimentar dados a uma máquina como um "tratamento" que altera ativamente o resultado.

O Cérebro Compartilhado do Robô

A ideia central do artigo de Ramachandra é simples, mas revolucionária: o cérebro do robô é um espaço compartilhado. Quando você ensina o robô com uma foto específica, essa foto não fica apenas no grupo de "treinamento"; ela altera o cérebro do robô para cada outra foto que ele virá a ver.

Pense nisso como uma sala de aula de alunos estudando para um grande exame. Se um aluno (vamos chamá-lo de "Ponto de Dado A") aprende um truque inteligente para resolver um problema matemático e o professor (o algoritmo) usa esse truque para ajudar toda a classe, então todos os outros alunos se beneficiam. Mas se o "Ponto de Dado A" aprende um truque errado, a classe inteira pode ficar confusa. No aprendizado de máquina tradicional, muitas vezes fingimos que o aluno que faz o teste (o "conjunto de teste") é completamente separado dos alunos que estudaram (o "conjunto de treinamento"). Ramachandra diz que isso é uma mentira. O aluno do teste está fazendo o exame baseado em um cérebro que foi moldado pelos alunos do treinamento. Portanto, mover uma foto do grupo de treinamento para o grupo de teste não é apenas mover um arquivo; é como remover um aluno do grupo de estudo e colocá-lo no exame. Isso muda o cérebro dos alunos restantes e muda quem está fazendo o teste.

O Experimento "Training as Treatment"

Ramachandra propõe um novo framework chamado "Training as Treatment". Em vez de apenas rodar um modelo uma vez e obter uma pontuação, ele sugere que devemos realizar milhares de pequenos experimentos para ver exatamente o que cada pedaço de dado faz.

Ele divide o processo em diferentes "papéis" para os dados:

Ajuste (Fitting): Os dados usados para ensinar o robô.
Validação (Validation): Os dados usados para ajustar as configurações do robô (como decidir o quão intensamente ele deve estudar).
Avaliação (Evaluation): Os dados usados para dar a nota final.
Auditoria (Audit): Um grupo especial de dados intocados usado para verificar se o robô é verdadeiramente justo e preciso, sem nunca permitir que o robô o veja durante o treinamento.

O artigo introduz o conceito de interferência. Em termos simples, isso significa que o que acontece com um ponto de dado afeta todos os outros. Se você incluir uma foto específica no conjunto de treinamento, ela pode tornar o robô melhor em reconhecer gatos (um "transbordamento positivo") ou pode torná-lo pior em reconhecer cães porque ele ficou confuso (um "transbordamento negativo").

Para medir isso, o autor sugere algumas formas inteligentes de experimentar:

A Inclusão Aleatória: Imagine jogar uma moeda para cada foto em sua coleção. Se der cara, o robô estuda ela; se der coroa, o robô a ignora. Ao fazer isso milhares de vezes, você pode ver exatamente o quanto aquela foto ajuda ou prejudica a pontuação final do robô.
A Troca Pareada: Imagine pegar duas fotos, Foto A e Foto B. Você treina o robô com A, mas não com B, depois troca e treina com B, mas não com A. Ao comparar os resultados, você pode ver qual foto é realmente mais valiosa.

O Que os Experimentos Mostraram

O artigo não trata apenas de teoria; ele realizou experimentos reais para testar essas ideias. Os pesquisadores usaram conjuntos de dados do mundo real (como registros médicos de câncer de mama e qualidade de vinho) e criaram conjuntos de dados falsos com problemas conhecidos (como fotos com rótulos errados ou truques ocultos).

Aqui está o que eles descobriram:

1. A "Divisão" é uma Trapaceira
A descoberta mais surpreendente é que a maneira como você divide seus dados (a "política de divisão") age como um interruptor mágico que altera a pontuação do robô, mesmo que o cérebro do robô permaneça exatamente o mesmo.

Em suas simulações, simplesmente mudar como dividiam os dados fez a precisão do robô (chamada de AUC) saltar ou cair em até 0,257.
Por exemplo, em uma simulação com dados ruidosos (bagunçados), usar uma divisão de "retenção por cluster" (onde itens semelhantes são agrupados) fez o robô parecer muito pior do que usar uma divisão aleatória padrão. Isso prova que a "nota do teste" não é apenas uma medida de quão inteligente o robô é; é também uma medida de como o teste foi desenhado.

2. Nem Todo Dado é Criado Igualmente
Os experimentos mostraram que algumas fotos são "memorizadas" pelo robô, mas não o ajudam de fato a aprender.

Eles descobriram que remover certas fotos de treinamento na verdade melhorou o desempenho do robo em outras fotos. Isso significa que essas fotos eram prejudiciais ou redundantes.
Por outro lado, remover outras fotos tornou o robô pior, provando que elas eram úteis.
O artigo sugere que uma foto pode ser "memorizada" (o robô a lembra perfeitamente), mas ainda ser "prejudicial" à capacidade do robô de generalizar para novas situações.

3. Algoritmos são Comedores Seletivos
Os pesquisadores testaram dois tipos diferentes de cérebros de robôs: uma "Regressão Logística" (um pensador de linha reta mais simples) e uma "Random Forest" (um pensador de ramos de árvore mais complexo).

Eles descobriram que o "melhor" robô depende inteiramente da situação. Em uma simulação limpa e simples, a Random Forest foi muito melhor. Mas em um conjunto de dados real de câncer de mama, a Regressão Logística mais simples foi melhor ou tão boa quanto.
Isso significa que você não pode apenas dizer "Algoritmo X é o melhor". Você tem que dizer "Algoritmo X é o melhor para este tipo específico de dado e para esta forma específica de divisão".

4. A "Auditoria" é a Portadora da Verdade
O artigo enfatiza a necessidade de um conjunto de "auditoria" — um grupo de dados que o robô nunca vê até o final.

Eles descobriram que, se você usar os dados de teste para ajustar suas configurações (como mudar o nível de dificuldade do robô), poderá obter uma pontuação alta que é falsa.
Ao manter um grupo de "auditoria" separado, eles puderam ver que algumas políticas de divisão faziam o robô parecer ótimo no teste, mas na verdade tinham um desempenho ruim na auditoria. Isso ajuda a detectar o "vazamento" (leakage), onde o robô acidentalmente aprende com os dados de teste que não deveria conhecer.

O Quadro Geral

O artigo de Ramachandra sugere que precisamos parar de olhar para o aprendizado de máquina como uma rua de mão única onde os dados entram e uma pontuação sai. Em vez disso, devemos vê-lo como uma teia complexa de interações, onde cada peça de dado influencia todas as outras.

A principal conclusão é que a maneira como treinamos e testamos nossa IA é uma intervenção causal. Não é apenas uma ferramenta de medição; é uma parte ativa do experimento que molda o resultado. Ao tratar o treinamento como um "tratamento" e usar esses novos métodos experimentais, podemos finalmente responder a perguntas como: "Esta foto específica está realmente ajudando a IA ou ela está apenas memorizando?" e "Esta pontuação alta é real ou apenas tivemos sorte com a forma como dividimos os dados?".

O artigo não afirma ter resolvido todos os problemas da IA. Ele admite que realizar esses experimentos é caro e computacionalmente pesado. No entanto, fornece um novo mapa e um novo conjunto de ferramentas para navegar na realidade caótica do aprendizado de máquina, ajudando-nos a distinguir entre um robô que realmente aprendeu e um que apenas teve sorte.

Resumo Técnico: Treinamento como Tratamento: Uma Estrutura Causal para Avaliação de Aprendizado de Máquina

1. Declaração do Problema

A avaliação convencional de aprendizado de máquina trata a atribuição de dados aos conjuntos de treinamento, validação e teste como um passo procedimental, em vez de um objeto de análise causal. Este artigo argumenta que o padrão de lacuna entre treino e teste não é um estimando causal limpo, pois funde múltiplas intervenções distintas: o efeito de uma observação sobre o ajuste do modelo, o efeito da seleção de modelos (via validação) e o efeito da composição de medição (via conjunto de teste).

Além disso, a avaliação padrão ignora a interferência: como um único modelo ajustado é compartilhado por todos os alvos, a inclusão ou exclusão de uma observação altera as previsões para todas as outras observações. Métodos existentes, como funções de influência, Data Shapley e estabilidade algorítmica, abordam aspectos específicos de sensibilidade ou contribuição de dados, mas falham em integrar papéis de dados, seleção de modelos, políticas de divisão e interferência em um sistema de meta-avaliação causal unificado.

2. Metodologia: A Estrutura "Treinamento como Tratamento"

O artigo propõe uma estrutura de resultados potenciais onde as atribuições de papéis de dados e as escolhas de pipeline de aprendizado são modeladas como intervenções.

2.1 Configuração Formal

Unidades: Observações candidatas ( $O_i$ ), grupos ou conjuntos de dados.
Tratamentos:
- Papéis de Dados: Cada observação é atribuída a um de cinco papéis: Ajuste ( $F$ ), Validação ( $V$ ), Avaliação ( $E$ ), Auditoria ( $A$ ) ou Não Utilizado ( $U$ ).
- Intervenções de Pipeline: Algoritmo ( $a$ ), hiperparâmetros ( $h$ ), semente aleatória ( $s$ ), currículo ( $c$ ), pesos ( $w$ ) e ordem de treinamento ( $o$ ).
Resultados: Potenciais previsões, perdas ao nível de ponto, métricas agregadas (ex: AUC, equidade/fairness), calibração e robustez em uma população de auditoria fixa e intocada.

2.1 Conceitos Causais Chave

Interferência: O modelo ajustado atua como um mecanismo compartilhado. O resultado potencial para o alvo $j$ depende de todo o vetor de atribuição de treinamento, não apenas de sua própria atribuição.
Avaliação Limpa: Uma distinção crucial é feita ao afirmar que atribuir um ponto a um conjunto de teste "limpo" (nunca consultado durante o ajuste ou seleção) não altera o modelo aprendido; isso apenas altera onde o desempenho é medido.
Mapeamento de Exposição: Para lidar com a complexidade da interferência irrestrita (onde os resultados dependem de $2^n$ atribuições), a estrutura utiliza mapeamentos de exposição de baixa dimensão (ex: baseados em similaridade, pertencimento a grupos ou alinhamento de gradiente) para resumir as atribuições dos pares.

2.3 Estimandos Causais

A estrutura define vários estimandos específicos:

Efeito de Auto-inclusão: A mudança na perda de uma observação $i$ quando ela é incluída no treinamento versus quando é retida (memorização vs. generalização).
Transbordamento entre Observações (Spillover): O efeito da inclusão da observação $i$ na perda de um alvo diferente $j$ . Isso constrói uma "rede de influência de treinamento causal".
Efeito de Generalização de Auditoria: O efeito da inclusão de $i$ no desempenho de uma população de auditoria externa fixa.
Efeitos de Política de Divisão: O impacto causal de diferentes estratégias de divisão de dados (ex: IID, temporal, agrupada/clustered) no desempenho da auditoria.
Efeitos de Interação: Como o valor de um ponto de dado depende do regime específico de algoritmo ou regularização utilizado.

2.4 Desenhos Experimentais

Para identificar esses efeitos, o artigo propõe:

Desenhos de Subconjuntos Aleatórios: Atribuir observações ao ajuste com uma probabilidade conhecida, mantendo um conjunto de auditoria permanente intocado.
Desenhos de Troca de Par de Tamanho Fixo: Substituir um ponto de treinamento por outro enquanto mantém o restante do conjunto fixo para estimar efeitos marginais.
Experimentos de Pipeline Fatorial: Cruzar atribuições de papéis de dados com algoritmos, sementes e políticas de aumento para estimar interações.

3. Principais Contribuições

Formulação Causal Unificada: Separa o ajuste, a validação, a avaliação e a auditoria em estágios causais distintos, distinguindo o efeito de aprender com uma observação do efeito de medir o desempenho nela.
Modelagem Consciente de Interferência: Modela explicitamente o modelo ajustado como uma fonte de interferência, permitindo a estimativa de efeitos de transbordamento e a construção de grafos de influência causal.
Novos Estimandos: Introduz métricas para auto-inclusão, transbordamento entre observações, generalização de auditoria e efeitos de política de divisão, indo além da simples estimativa de erro.
Ferramentas de Diagnóstico: Fornece uma base para validação cruzada causal, diagnósticos de vazamento (detectando se um conjunto de teste inadvertidamente influenciou o treinamento) e análise de transbordamento de equidade.
Estimadores: Desenvolve estimadores baseados em design (diferença de médias, Horvitz-Thompson), regressão fatorial esparsa e estimadores de baixo posto/regularizados por grafo para redes de influência.

4. Resultados Empíricos

O artigo apresenta resultados experimentais usando conjuntos de dados reais (Breast Cancer Wisconsin, Wine) e simulações controladas (dados limpos, ruído de rótulo, desbalanceados com características espúrias).

A Política de Divisão como uma Intervenção: Alterar a política de divisão (ex: de estratificada IID para retenção de cluster ou retenção de cauda de características) causou mudanças sistemáticas e grandes nos AUC relatados. Em simulações, a retenção de cluster reduziu o AUC em ~0,20 para regressão logística, enquanto divisões de cauda de características tiveram impactos variados dependendo do regime de dados. Isso demonstra que o protocolo de avaliação é uma intervenção ativa, não um dispositivo de medição neutro.
Heterogeneidade de Algoritmos: A superioridade de um algoritmo (ex: Random Forest vs. Regressão Logística) foi altamente condicional à política de divisão e ao regime de dados. O Random Forest superou a Regressão Logística em cenários não lineares e ruidosos, mas teve desempenho inferior no conjunto de dados real Breast Cancer sob retenção de cluster.
Decomposição de Variância: Em simulações com dados estruturados, a política de divisão explicou a maior fração da variação do AUC (até 59%), frequentemente excedendo a variância explicada pela escolha do modelo ou sementes aleatórias.
Interferência ao Nível de Ponto: Em um experimento de inclusão de pontos no conjunto de dados Breast Cancer, a remoção de pontos individuais de treinamento causou mudanças mensuráveis no log loss em um conjunto de teste fixo. Algumas remoções aumentaram a perda (indicando inclusão útil), enquanto outras diminuíram a perda (indicando inclusão prejudicial ou redundante), confirmando empiricamente a interferência.

5. Significância e Alegações

O artigo afirma que o "Treinamento como Tratamento" reformula o pipeline de aprendizado de máquina como um experimento causal. Sua principal significância reside em:

Esclarecer a Lacuna de Generalização: Mostra que a lacuna observada entre treino e teste é uma mistura de efeitos de auto-inclusão, composição de treino-teste, exposição de pares e decisões de seleção de modelo, e, portanto, não pode ser interpretada como uma medida pura de overfitting.
Distinguir Memorização de Transferência: Ao separar os efeitos de auto-inclusão dos efeitos de generalização de auditoria, a estrutura ajuda a identificar quando um modelo está apenas memorizando dados versus aprendendo padrões transferíveis.
Avaliar a Avaliação: Fornece uma base causal para diagnosticar se os melhorias de desempenho relatadas se devem a um melhor aprendizado ou simplesmente a amostras de teste "mais fáceis" resultantes de políticas de divisão favoráveis ou vieses de seleção.
Aquisição de Dados Consciente de Intervenção: Oferece uma base teórica para adquirir dados com base em efeitos de auditoria causal em vez de pontuações heurísticas de qualidade, reconhecendo que o valor dos dados é relativo ao aprendiz, à política de divisão e à população de auditoria.

O autor mantém uma postura modesta, observando que o re-treinamento exato é caro, o mapeamento de interferência é complexo e a estrutura requer um design experimental cuidadoso (ex: conjuntos de auditoria bloqueados) para evitar confusão. A estrutura proposta serve como uma ferramenta de diagnóstico e estimativa, e não como um substituto para todas as práticas de avaliação existentes.