Resumo Técnico: LiBaGS (Síntese de Lacuna de Fronteira Leve)

Declaração do Problema

Dados sintéticos são frequentemente empregados para abordar escassez, desequilíbrio, restrições de privacidade ou incompletude local em aprendizado supervisionado. No entanto, um problema recorrente é que nem todas as amostras sintéticas são benéficas. As amostras podem ser raras, mas irrelevantes (longe da fronteira de decisão), incertas, mas redundantes (envolvidas por dados reais existentes), ou semelhantes à fronteira, mas prejudiciais (situadas fora da variedade dos dados reais).

Métodos existentes, como sobreamostragem clássica (por exemplo, SMOTE, ADASYN) e geração direcionada moderna (por exemplo, síntese baseada em difusão guiada por incerteza ou feedback), frequentemente tratam a utilidade como uma pontuação local, um prompt de geração ou um sinal de currículo. Eles carecem frequentemente de um mecanismo explícito para determinar onde as amostras sintéticas devem ser posicionadas em relação à cobertura de dados reais e quantas devem ser retidas para evitar retornos decrescentes.

Metodologia: LiBaGS

O LiBaGS é um framework leve, agnóstico ao gerador, para seleção direcionada de dados de treinamento sintéticos. Ele opera como uma regra de alocação de pós-processamento que pontua, filtra e diversifica um pool finito de amostras sintéticas candidatas proposto por qualquer gerador (por exemplo, interpoladores, modelos de difusão, simuladores).

1. Pontuação e Importância da Lacuna de Fronteira

Para cada candidato $z$, o LiBaGS calcula uma pontuação de "importância da lacuna de fronteira" $r(z)$ combinando quatro fatores:

• Proximidade da Fronteira de Decisão: Medida via um peso suave $a_\tau(z)$ baseado na margem de probabilidade das duas classes superiores $\Delta(z)$. Candidatos próximos à fronteira recebem pesos mais altos.
• Incerteza Preditiva: Medida pela entropia preditiva $u(z)$ de um modelo de pontuação treinado em dados reais.
• Validade de Suporte: Uma pontuação $b(z) \in [0, 1]$ garantindo que o candidato esteja próximo à variedade de dados reais, filtrando artefatos irreais.
• Densidade de Dados Reais: Uma estimativa $\hat{p}(z)$ da densidade local de amostras de treinamento reais.

A pontuação de importância é definida como:
$$r(z) = a_\tau(z) \cdot u(z) \cdot b(z)$$

2. Regra de Alocação de Lacuna de Fronteira

O LiBaGS formula o problema de seleção como a minimização de um objetivo de risco local $J_m(q)$, que aproxima o erro de classificação próximo à fronteira de decisão. O objetivo equilibra a importância de uma região ($r(z)$) contra a evidência total disponível ($np(z) + mq(z)$).

Minimizar este objetivo produz uma densidade de alocação ótima $q^*(z)$:
$$q^*(z) = \frac{1}{m} \left[ \sqrt{\frac{r(z)}{\lambda}} - np(z) \right]_+$$
onde $\lambda$ é uma constante de normalização. Intuitivamente, esta regra aloca amostras sintéticas para regiões que são:

1. Importantes para a fronteira de decisão (alta $r(z)$).
2. Pouco cobertas por dados reais (baixa $np(z)$).
3. Atribui massa sintética zero para regiões já bem cobertas por dados reais.

Na prática, para um pool finito de candidatos, isso resulta em uma pontuação de seleção $G_j$ para cada candidato $j$:
$$G_j = \left[ \sqrt{\frac{r(z_j)}{\lambda}} - n\hat{p}(z_j) \right]_+$$

3. Parada Adaptativa e Diversidade

• Parada Adaptativa: Em vez de um orçamento sintético fixo, o LiBaGS emprega uma regra de parada de valor marginal. Ele calcula o ganho marginal $\Delta_j(t_j)$ de adicionar uma amostra a uma região com cobertura existente. A seleção continua de forma gananciosa até que o melhor ganho marginal restante caia abaixo de um limiar $\eta$, determinado pelo ponto de achatamento da curva de ganho marginal. Isso aprende o número ótimo de amostras sintéticas $b_m$ a partir dos dados.
• Rótulos Suaves: Próximo a fronteiras ambíguas, rótulos duros de geradores podem ser excessivamente confiantes. O LiBaGS usa um rótulo suave $\tilde{y}(z)$ que mistura o rótulo one-hot do gerador com o vetor de probabilidade do modelo de pontuação, ponderado pela proximidade da fronteira $a_\tau(z)$.
• Objetivo de Diversidade: Para evitar a seleção de quase-duplicatas, o LiBaGS maximiza um objetivo submodular $F(S)$ que recompensa a cobertura de candidatos de alto valor enquanto penaliza a redundância baseada na similaridade no espaço de características.

Principais Contribuições

1. Formulação: Os autores enquadram a seleção direcionada de dados sintéticos como um problema de alocação de lacuna de fronteira, modelando explicitamente o trade-off entre importância da fronteira e cobertura de dados reais.
2. Derivação: Eles derivam uma regra de alocação de lacuna de fronteira que integra proximidade da fronteira, incerteza, validade de suporte e densidade de dados reais.
3. Algoritmo: Eles fornecem um algoritmo prático com parada adaptativa (aprendendo a contagem sintética) e seleção consciente da diversidade.
4. Validação Empírica: Eles demonstram que o LiBaGS supera a sobreamostragem clássica, aumento duro, seleção baseada em incerteza e critérios de geração direcionada em múltiplos conjuntos de dados.

Resultados Experimentais

Os autores avaliaram o LiBaGS em três tarefas:

1. Two Moons (Duas Luas): Uma tarefa de classificação não linear com uma lacuna explícita na fronteira de decisão.
2. Dígitos 8x8 (3 vs. 8): Uma tarefa de classificação binária usando dígitos manuscritos com fronteiras difíceis.
3. CIFAR-10 (Gato vs. Cachorro): Uma tarefa de classificação de imagens usando um ResNet-50 congelado e um pool de candidatos do Stable Diffusion.

Desempenho:

• Two Moons: O LiBaGS alcançou 0,9454 de precisão, melhorando sobre o Minimização de Risco Empírico (ERM) em 0,8859 e superando todas as linhas de base (por exemplo, Prática Deliberada em 0,9437, Apenas Incerteza em 0,9431).
• Dígitos 8x8: O LiBaGS alcançou 0,9540 de precisão, superando o ERM (0,9391) e outras linhas de base como Guiado por Feedback (0,9516).
• CIFAR-10: O LiBaGS alcançou 0,8159 de precisão, comparado a 0,8040 do ERM. Embora os ganhos sejam modestos, eles são consistentes entre as sementes.

Os resultados indicam que o LiBaGS é mais eficaz quando o pool de candidatos contém amostras informativas, no suporte, localizadas em regiões de fronteira esparsas.

Significado e Alegações

O artigo afirma que dados sintéticos são mais úteis quando preenchem lacunas de fronteira esparsas e no suporte, em vez de meramente aumentar o tamanho do conjunto de dados. O LiBaGS aborda a questão da "utilidade" por meio de:

• Direcionamento: Selecionar explicitamente amostras que estão próximas à fronteira de decisão, incertas e sub-representadas em dados reais.
• Filtragem: Rejeitar candidatos que estão fora do suporte ou redundantes.
• Adaptatividade: Aprender a quantidade apropriada de dados sintéticos a adicionar, evitando a fragilidade de orçamentos fixos.

Os autores posicionam o LiBaGS como uma regra de alocação leve que pode ser integrada a pipelines existentes de dados sintéticos sem retreinar geradores. Eles reconhecem limitações, observando que o método depende da qualidade do pool de candidatos e da precisão da estimativa de suporte, e que não garante qualidade de dados se o gerador subjacente for enviesado. O método é apresentado como uma estratégia de seleção para melhorar sinais de treinamento em regiões esparsas, em vez de uma solução autônoma para todos os problemas de escassez de dados.