Resumo Técnico: inversedMixup

Declaração do Problema

O aumento de dados é crítico para abordar cenários de baixos recursos na compreensão de texto, mas os métodos existentes enfrentam um compromisso fundamental entre controlabilidade e interpretabilidade.

• Mixup Tradicional: Opera através da interpolação linear de entradas e rótulos no espaço de embedding latente. Embora isso ofereça uma controlabilidade precisa via razão de mistura ($\lambda$), os embeddings interpolados resultantes carecem de interpretabilidade humana. Consequentemente, as sentenças sintetizadas são frequentemente ilegíveis ou semanticamente inconsistentes, e o fenômeno da "intrusão de variedade" (onde as entradas interpoladas não se alinham com os rótulos interpolados) é difícil de detectar em espaços de texto discretos.
• Aumento Baseado em LLM: Gera sentenças legíveis ao nível de tokens via prompting, oferecendo alta interpretabilidade. No entanto, o processo de geração é impulsionado por instruções de prompt em vez de restrições estruturais explícitas, resultando em controlabilidade limitada sobre a mistura semântica específica do output.

Existe uma falta de um framework unificado que combine a precisão da controlabilidade da interpolação no nível do embedding com a interpretabilidade humana do nível de token.

Metodologia: inversedMixup

Os autores propõem o inversedMixup, um framework unificado que preenche a lacuna entre espaços de embedding latente e espaços de tokens discretos integrando o Mixup com inversão de LLM. O insight central é que os LLMs podem reconstruir linguagem natural a partir de embeddings (inversão), permitindo que embeddings misturados sejam decodificados em sentenças interpretáveis por humanos.

O framework opera através de um processo de treinamento de três estágios:

1. Alinhamento de Adaptador (Não Supervisionado)

Para unir o espaço de saída de um modelo específico da tarefa ($M_\theta$) e o espaço de entrada de um LLM generativo ($M_\psi$), um adaptador treinável ($A_\phi$) é treinado.

• Dados: Texto não rotulado de grande escala e domínio aberto ($X_U$).
• Processo: O modelo específico da tarefa codifica uma sentença de entrada $x$ em um embedding $h$. O adaptador mapeia $h$ para o espaço de entrada do LLM. O LLM é então instruído a reconstruir a sentença original $x$ a partir deste embedding adaptado.
• Objetivo: Minimizar a log-verossimilhança negativa da reconstrução. Apenas os parâmetros do adaptador são atualizados; o modelo da tarefa e o LLM permanecem congelados.

2. Refinamento de Adaptador (Aquecimento Supervisionado)

O alinhamento inicial é insuficiente para tarefas específicas porque a distribuição de embedding do modelo específico da tarefa muda durante o ajuste fino (fine-tuning).

• Dados: Dados rotulados da tarefa alvo ($X_T, Y_T$).
• Processo: O modelo específico da tarefa e o adaptador são ajustados iterativamente. O modelo da tarefa é otimizado para a tarefa de classificação, e o adaptador é refinado para garantir que o LLM ainda possa reconstruir as sentenças com precisão a partir dos embeddings atualizados e específicos da tarefa.
• Objetivo: Alcançar um alinhamento robusto entre o espaço de embedding específico da tarefa e o espaço generativo do LLM, injetando o viés indutivo específico da tarefa.

3. Invertendo Embeddings Misturados (Aumento)

Uma vez alinhado, o framework gera amostras aumentadas:

• Mixup: Dois embeddings de sentenças ($h_i, h_j$) do modelo da tarefa são interpolados linearmente usando uma razão de mistura $\lambda \sim Beta(\alpha, \alpha)$ para criar um embedding misturado $\tilde{h}$.
• Inversão: O embedding misturado passa pelo adaptador refinado e é decodificado pelo LLM para gerar uma sentença sintética $\tilde{x}$.
• Rotulagem: Um rótulo suave correspondente $\tilde{y}$ é computado via interpolação linear dos rótulos originais.
• Mitigação de Intrusão de Variedade: Os autores observam que embeddings misturados frequentemente sofrem de intrusão de variedade (a sentença reconstruída não corresponde semanticamente ao rótulo interpolado). Para mitigar isso, eles propõem usar o próprio LLM para atribuir um rótulo hard one-hot à sentença reconstruída $\tilde{x}$, substituindo o rótulo suave interpolado.

Principais Contribuições

1. Framework Unificado: A proposta do inversedMixup, que alinha um modelo específico de tarefa com um LLM para inverter embeddings misturados. Isso torna o Mixup de texto tanto controlável (via $\lambda$) quanto interpretável por humanos (via reconstrução de LLM).
2. Evidência Empírica de Intrusão de Variedade: Ao reconstruir embeddings misturados em sentenças legíveis, o framework fornece a primeira evidência empírica de intrusão de variedade no Mixup de texto. Os autores demonstram que embeddings interpolados frequentemente resultam em sentenças que não se alinham com a combinação convexa de seus rótulos originais.
3. Estratégia de Mitigação: A introdução de uma estratégia simples onde o LLM atribui rótulos hard às amostras geradas, reduzindo efetivamente o impacto negativo da intrusão de variedade.
4. Treinamento de Três Estágios: Um pipeline prático envolvendo alinhamento não supervisionado, refinamento supervisionado e aumento baseado em inversão que funciona tanto em configurações de poucos disparos (few-shot) quanto totalmente supervisionadas.

Resultados Experimentais

Os autores avaliaram o inversedMixup em diversos datasets (Yahoo, TREC, AG News) sob configurações de poucos disparos (1, 5, 10 shots) e totalmente supervisionadas.

• Desempenho: O inversedMixup superou consistentemente as linhas de base de aumento tradicionais (EDA, BT, Textsmooth, AWD, Mixup) e as linhas de base de LLM (LLM-Rew, LLM-Gen, LLM-Mix).
  • Por exemplo, no dataset Yahoo com 1-shot, o inversedMixup alcançou 54,9% de acurácia comparado a 47,7% para o modelo base e 51,6% para o Mixup padrão.
  • No TREC com 1-shot, alcançou 41,6% vs. 36,8% (Base) e 37,7% (Mixup).
• Significância Estatística: Testes de postos sinalizados de Wilcoxon confirmaram que as melhorias do inversedMixup sobre o Mixup e LLM-Mix são estatisticamente significativas em vários cenários de poucos disparos.
• Generalização: O método mostrou eficácia mesmo quando os dados de aumento vieram de domínios não vistos durante a fase inicial de alinhamento.

Significância e Alegações

O artigo afirma que o inversedMixup aborda uma lacuna crítica no aumento de dados de texto ao tornar o processo de interpolação latente transparente.

• Observabilidade: A principal significância é a capacidade de "ver" o fenômeno da intrusão de variedade no texto, que anteriormente era obscurecido pela natureza discreta da linguagem e pela opacidade dos espaços latentes.
• Utilidade Prática: O framework oferece um método de aumento robusto, controlável e interpretável que melhora o desempenho do modelo em ambientes de escassez de dados sem exigir engenharia de prompt complexa ou sacrificar a capacidade de controlar a razão de mistura semântica.
• Direção Futura: O trabalho estabelece uma base para observar e mitigar problemas de interpolação de espaço latente para NLP, sugerindo que a ponte entre espaços de embedding e de tokens é um caminho viável para o aumento de dados avançado.