🤖 AI

Constraint-Data-Value-Maximization: Utilizing Data Attribution for Effective Data Pruning in Low-Data Environments

Este artigo introduz a Maximização de Valor de Dados com Restrições (CDVM), uma abordagem inovadora que enquadra a poda de dados como um problema de otimização restrita para maximizar efetivamente a influência do modelo enquanto penaliza contribuições excessivas por teste, superando assim os métodos tradicionais baseados em Shapley em cenários de poucos dados.

Autores originais: Danilo Brajovic, David A. Kreplin, Marco F. Huber

Publicado 2026-05-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Danilo Brajovic, David A. Kreplin, Marco F. Huber

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um chef tentando criar a sopa perfeita. Você tem uma despensa enorme cheia de ingredientes (seus dados), mas sua cozinha é pequena, seu fogão é fraco e você só tem tempo para cozinhar com uma fração minúscula do que possui. Você precisa descartar a maioria dos ingredientes, mas manter aqueles que fazem a sopa ter o melhor sabor.

Esse é o problema que os modelos de aprendizado de máquina enfrentam hoje. Eles precisam de quantidades enormes de dados para aprender, mas armazenar e processar todos esses dados é caro e lento. O objetivo é a poda de dados: descobrir quais peças específicas de dados são as "especiarias secretas" e quais são apenas "enchimento" que podem ser descartadas sem estragar o prato.

O Jeito Antigo: O "Concurso de Popularidade"

Por um tempo, os cientistas tentaram resolver isso usando um método baseado em valores de Shapley (um conceito da teoria dos jogos). Pense nisso como um concurso de popularidade onde cada ingrediente recebe uma pontuação com base em quanto ele ajuda a sopa quando adicionado a diferentes combinações de outros ingredientes.

O artigo argumenta que esse método antigo tem um defeito fatal: Ele odeia grupos.

Imagine que sua despensa tem:

100 batatas idênticas (um grande agrupamento).
1 trufa única e rara (um pequeno agrupamento).

O método antigo olha para as batatas e diz: "Bem, temos tantas de vocês, que qualquer batata individual não é tão especial. Vocês são todos redundantes." Então, ele dá a elas uma pontuação muito baixa. Ele olha para a única trufa e diz: "Você é única! Você é essencial!" Então, ele dá a ela uma pontuação alta.

O Desastre: Quando o chef começa a descartar os ingredientes de "baixa pontuação", ele joga fora 99 batatas primeiro. Mas, então, ele fica sem batatas completamente. De repente, a sopa não tem nenhum amido e fica com gosto terrível. O método removeu o grupo inteiro de batatas muito cedo porque não percebeu que, embora as batatas fossem similares, o grupo como um todo era vital.

A Nova Solução: CDVM (O Chef de "Cobertura Justa")

Os autores introduzem um novo método chamado Maximização de Valor de Dados com Restrições (CDVM). Em vez de apenas dar a cada ingrediente individual uma pontuação e ordená-los do melhor ao pior, o CDVM age como um chef inteligente que se preocupa com o equilíbrio.

Veja como o CDVM funciona, usando uma analogia simples:

O Cardápio (O Conjunto de Teste): Imagine que você tem um cardápio de 100 clientes diferentes, cada um com uma preferência de sabor específica (por exemplo, alguns gostam de salgado, outros de doce, outros de picante).
O Objetivo: Você quer escolher uma pequena cesta de ingredientes (digamos, 10 itens) que satisfaça todos no cardápio.
A Restrição: O CDVM não pergunta apenas: "Qual ingrediente faz a sopa melhor no geral?" Ele pergunta: "Se eu escolher este ingrediente, ele ajuda os clientes picantes? Ele ajuda os clientes doces?"

O CDVM estabelece uma regra: Nenhum cliente no cardápio deve ficar completamente insatisfeito.

Se o método antigo escolhesse 9 batatas e 1 trufa (ignorando que as batatas são necessárias para os clientes "amidosos"), o CDVM diria: "Espere um minuto. Se eu escolher 9 batatas, estou ignorando os clientes 'picantes' que precisam de pimenta. Vamos trocar algumas batatas por uma pimenta para garantir que todos recebam algo."

Ele trata o problema como um quebra-cabeça onde você deve maximizar a felicidade total dos clientes, garantindo que nenhum cliente individual seja ignorado. Ele força a seleção a manter pelo menos um representante de cada "grupo" de ingredientes até que absolutamente tenha que dispensá-los.

Por Que Isso Importa

O artigo testou esse novo método contra os antigos métodos de concurso de popularidade em seis conjuntos de dados diferentes (como imagens de carros, resenhas de texto e dados médicos).

O Resultado: Quando os chefs foram forçados a usar quantidades muito pequenas de dados (como manter apenas 5% ou 10% dos ingredientes originais), o método CDVM fez sopas (modelos) muito melhores do que os métodos antigos.
A Lição do "Orçamento": O artigo também descobriu algo surpreendente: Os "melhores" 10% de ingredientes não são necessariamente um subconjunto dos "melhores" 20%. Às vezes, os 10% perfeitos incluem um ingrediente estranho que você teria mantido na pilha de 20%, mas teria descartado na pilha de 5%. O CDVM é inteligente o suficiente para recalcular a mistura perfeita para cada tamanho de orçamento específico, em vez de apenas usar uma única lista de "melhor ao pior".

A Conclusão

O artigo afirma que, ao mudar a forma como olhamos para os dados — de "classificar indivíduos" para "otimizar a cobertura equilibrada" — podemos reduzir significativamente o tamanho de nossos conjuntos de dados de treinamento sem perder desempenho. Isso economiza energia e dinheiro, especialmente quando estamos trabalhando com dados muito limitados.

Em resumo: O jeito antigo era como jogar fora todas as batatas porque uma batata não é especial. O jeito novo (CDVM) diz: "Vamos manter algumas batatas, algumas cenouras e algumas especiarias, para que, não importa o que o cliente queira, tenhamos algo para oferecer."

Resumo Técnico: Maximização de Valor de Dados com Restrições para Poda Eficiente de Dados em Ambientes de Baixos Dados

1. Declaração do Problema

Modelos de aprendizado de máquina, particularmente modelos de linguagem grandes, enfrentam uma demanda insaciável por dados enquanto a disponibilidade de dados estagna. Métodos de valoração de dados visam atribuir a influência de instâncias individuais de treinamento no desempenho do modelo para reduzir o tamanho do conjunto de dados, economizando energia e melhorando a eficiência do treinamento. No entanto, abordagens existentes para poda de dados (remoção de dados de baixo valor) sofrem de limitações críticas, especialmente em ambientes de baixos dados, onde apenas uma pequena fração do conjunto de dados permanece.

Os autores identificam três deficiências primárias nos métodos atuais de última geração (especificamente abordagens baseadas em valores de Shapley e Banzhaf):

Viés de Tamanho de Cluster: Os valores de Shapley e Banzhaf distribuem a utilidade total de um cluster entre seus membros. Consequentemente, pontos em clusters de dados maiores recebem valores marginais menores do que pontos em clusters menores. Isso leva à remoção prematura de clusters inteiros grandes, causando quedas acentuadas no desempenho do modelo assim que o último representante de um cluster é podado.
Viés de Redundância: Métodos Leave-One-Out (LOO) frequentemente atribuem valor zero a amostras redundantes, falhando em distinguir entre a utilidade de manter um representante versus muitos.
Subconjuntos Ótimos Não Aninhados: O subconjunto de dados que maximiza a precisão para um orçamento de retenção específico (por exemplo, 10%) não é necessariamente um subconjunto do conjunto ótimo para um orçamento diferente (por exemplo, 5%). Estratégias de poda padrão que assumem aninhamento falham em se adaptar a esses ótimos específicos do orçamento.

2. Metodologia: Maximização de Valor de Dados com Restrições (CDVM)

Para abordar essas limitações, os autores propõem a Maximização de Valor de Dados com Restrições (CDVM), um framework baseado em otimização que trata a poda de dados como um problema de otimização restrita sobre uma matriz de atribuição de dados.

Conceitos Principais

Matriz de Atribuição de Dados ( $T$ ): Ao contrário de valores de dados escalares, o CDVM utiliza uma matriz $T \in \mathbb{R}^{n \times m}$ , onde $n$ é o número de instâncias de treinamento e $m$ é o número de instâncias de teste. A entrada $T_{i,j}$ quantifica a influência da instância de treinamento $i$ na previsão da instância de teste $j$ . Esta matriz é estimada usando o princípio de Reutilização Máxima de Amostras (MSR), treinando modelos em subconjuntos amostrados para aproximar a influência sem retreinamento completo para cada instância.
Formulação de Otimização: O CDVM formula a poda como a seleção de um vetor binário $w \in \{0, 1\}^n$ $w \in {0, 1}^{n}$ (indicando quais $S$ $S$ instâncias de treinamento reter) para maximizar uma função de utilidade sujeita a restrições.
- Objetivo: Maximizar a influência total nas amostras de teste enquanto penaliza a concentração excessiva de influência em poucas amostras de teste.
- Restrição: O número de instâncias retidas deve ser igual ao orçamento $S$ .
- Variáveis de Folga: Para evitar o cenário "o vencedor leva tudo", onde algumas amostras de teste dominam a utilidade, o método introduz variáveis de folga $t_j$ que limitam a influência por amostra de teste a um limiar $\kappa$ . Qualquer influência que exceda $\kappa$ é penalizada.

O problema de otimização formal é:
$\begin{aligned} \max_{w, t} \quad & \alpha \sum_{j=1}^m v_j - (1-\alpha) \sum_{j=1}^m t_j \\ \text{s.t.} \quad & v = T^\top w \\ & \sum_{i=1}^n w_i = S \\ & t_j \ge 0, \quad t_j \ge v_j - \kappa \\ & w_i \in \{0, 1\} \end{aligned}$
onde $v_j$ é a utilidade induzida para a amostra de teste $j$ , e $\alpha$ equilibra a utilidade total contra a penalidade por exceder o limiar.

Implementação

Os autores relaxam a restrição binária $w_i \in \{0, 1\}$ para $w_i \in [0, 1]$ para resolver o problema como um Programa Linear Inteiro Misto (MILP) usando o framework de Programação Parametrizada Disciplinada. Após a resolução, as $S$ entradas principais de $w$ são retidas. Esta abordagem garante cobertura equilibrada, assegurando que nenhuma amostra de teste (e, portanto, nenhum cluster de dados implícito) fique com influência total zero, desde que o orçamento permita.

3. Contribuições Principais

O artigo faz quatro contribuições primárias:

Análise de Limitações Existentes: Os autores demonstram teórica e empiricamente que as atribuições de Shapley e Banzhaf alocam contribuições marginais menores para instâncias em clusters de dados maiores, levando a padrões de remoção desequilibrados e desempenho de poda subótimo em regimes de baixos dados.
Insight de Especificidade de Orçamento: Eles mostram que os conjuntos de retenção ótimos são específicos do orçamento; o subconjunto que maximiza a precisão para um nível de retenção não contém necessariamente o subconjunto otimizado para outro.
Algoritmo CDVM: A introdução do CDVM, que lança a poda como uma otimização sobre uma matriz de atribuição, abordando explicitamente redundância e viés de tamanho de cluster ao impor influência equilibrada entre amostras de teste.
Avaliação Comparativa: Avaliação abrangente em seis conjuntos de dados do benchmark OpenDataVal, demonstrando forte desempenho e tempo de execução competitivo em comparação com técnicas de última geração.

4. Resultados Experimentais

Os autores avaliaram o CDVM em seis conjuntos de dados do benchmark OpenDataVal (incluindo CIFAR-10, Adult, IMDB, BBC, Pol e Nomao) em níveis de retenção de 5% a 30%.

Desempenho: O CDVM alcançou desempenho de última geração em 28 de 36 configurações (6 conjuntos de dados $\times$ 6 taxas de poda). Superou consistentemente a remoção aleatória, DataBanzhaf e métodos DataOob/Memorização.
Comparação com Otimização de Influência: Embora o método de Otimização de Influência (Yang et al., 2023) tenha desempenho competitivo em alguns conjuntos de dados (notavelmente Nomao), o CDVM foi o único método a superar consistentemente as bases aleatórias em todos os seis benchmarks quando os hiperparâmetros foram ajustados adequadamente.
Eficiência de Tempo de Execução: O CDVM oferece uma melhor compensação entre velocidade e precisão. Embora o cálculo da matriz de atribuição $T$ seja o principal gargalo (compartilhado por todos os métodos baseados em semi-valores), o passo de otimização é rápido. O CDVM com 5.000 modelos alcançou resultados comparáveis ou melhores do que métodos que exigem 10.000 modelos, com tempo de otimização significativamente menor do que a Otimização de Influência (que requer inversão de Hessian).
Robustez: O método é robusto às escolhas de hiperparâmetros. Uma configuração padrão ( $\alpha=0.5$ , $\kappa$ derivado de estatísticas do conjunto de dados) performou quase tão bem quanto parâmetros pesquisados em grade, incorrendo em zero sobrecarga de busca.

5. Significado e Alegações

O artigo alega que o CDVM fornece uma solução robusta para a poda de dados em regimes de baixos dados, um cenário onde métodos existentes baseados em Shapley frequentemente falham devido aos seus viéses inerentes. Ao mudar de valores de dados escalares para uma otimização restrita sobre uma matriz de atribuição, o CDVM garante que o conjunto de dados restante mantenha uma cobertura equilibrada da distribuição de teste.

Os autores enfatizam que suas descobertas destacam "espaço substancial para melhorar a poda de dados", o que se traduz diretamente em custos de treinamento reduzidos e consumo de energia. Eles observam que, embora o CDVM seja competitivo computacionalmente, o principal gargalo permanece o cálculo e o armazenamento da matriz de atribuição $T$ . Trabalhos futuros poderiam explorar estimadores de atribuição mais eficientes ou explorar a esparsidade de $T$ para escalar para conjuntos de dados maiores como ImageNet.

O artigo conclui que o CDVM aproveita efetivamente as atribuições de dados para podar exemplos de baixo valor sem sacrificar a qualidade do modelo, oferecendo uma alternativa prática à seleção aleatória e às estratégias de poda existentes baseadas em valoração.