Resumo Técnico: Interpretando Representações de Estilo via Prompts de Eliciação de Estilo

Declaração do Problema

O aprendizado de representação de estilo fornece embeddings vetoriais poderosos para análise de autoria e modelagem de estilo de escrita. No entanto, essas representações são latentes, o que torna difícil interpretar quais atributos estilísticos específicos elas codificam ou como interagir com elas para a geração de texto controlada.

Abordagens existentes tentam interpretar essas representações solicitando que Grandes Modelos de Linguagem (LLMs) gerem descrições em linguagem natural para um texto de entrada. Os autores identificam duas limitações críticas nesse paradigma:

1. Confiabilidade: Descrições de texto livre são propensas a vieses e alucinações de LLMs, frequentemente negligenciando características estilísticas sutis.
2. Funcionalidade: Essas descrições são primariamente explicativas, não funcionais. Não está claro como usá-las de forma confiável para reproduzir, manipular ou transferir estilos de escrita.

O artigo postula que a interpretação deve ser fundamentada no controle. Em vez de apenas descrever um estilo, o objetivo é recuperar instruções em linguagem natural explícitas (prompts) que possam guiar um LLM para gerar texto com as mesmas propriedades estilísticas.

Metodologia

1. Formulação do Problema

Os autores definem a tarefa como a decodificação de um vetor de representação de estilo $\mathbf{x}$ (derivado de um texto de entrada) em um prompt de estilo em linguagem natural $s$. O objetivo é aprender um decodificador $D$ tal que:

1. O prompt decodificado $\hat{s}$ caracterize as características estilísticas codificadas em $\mathbf{x}$.
2. O uso de $\hat{s}$ para condicionar um LLM gere um texto $y$ cuja representação de estilo seja próxima do $\mathbf{x}$ original.

A otimização direta deste objetivo é inviável devido à natureza discreta e vasta do espaço de prompts. Portanto, os autores recasaram o problema como uma tarefa de aprendizado supervisionado usando dados sintéticos.

2. Construção do Conjunto de Dados

Para permitir o treinamento supervisionado, os autores construíram um conjunto de dados sintético de larga escala contendo 1,8 milhão de respostas estilizadas pareadas com prompts de estilo de verdade fundamental (ground-truth). A construção envolveu três estágios:

• Curadoria de Atributos de Estilo: Usando o GPT-4o, eles geraram 1.010 atributos de estilo distintos e modulares organizados em 26 categorias estilísticas (ex: "Estrutura de Sentença", "Tom", "Estratégia Retórica"). Esses atributos foram curados manualmente para garantir distinção semântica.
• Curadoria de Perguntas: 300.000 perguntas do mundo real foram amostradas do Reddit, StackExchange e Yahoo Answers para garantir diversidade de conteúdo.
• Geração Estilizada: LLMs (Phi-4, Qwen2.5-14B, OLMo-2-13B) foram instruídos com combinações de 1 a 10 atributos de estilo e uma pergunta específica para gerar respostas. Este processo garantiu que o texto gerado exibisse de forma confiável as restrições estilísticas definidas no prompt.

3. Arquitetura do Modelo

O framework proposto emprega um decodificador $D$ composto por:

• Um LLM congelado (Ministral-8B-Instruct) que interpreta o sinal estilístico.
• Um módulo de projeção treinável (uma rede feedforward de três camadas com ativações GeLU) que mapeia o vetor de estilo de entrada para o espaço de embedding de tokens do LLM.
• Uma instrução de linguagem natural fixa, acrescida ao vetor projetado, para guiar a tarefa de geração.

O modelo é treinado para minimizar a perda de entropia cruzada ao nível de token entre o prompt decodificado e o prompt de estilo de verdade fundamental usado para gerar o texto.

Principais Contribuições

1. Um Framework Baseado em Decodificador: Os autores introduzem um método para traduzir representações de estilo latentes em prompts de estilo acionáveis em linguagem natural, permitindo o uso interpretável e controlável de informações estilísticas.
2. Conjunto de Dados Sintético de Larga Escala: Eles liberam um conjunto de dados de 1,8M de textos estilizados pareados com prompts de estilo composicionais e diversos abrangendo 26 dimensões, fornecendo supervisão refinada para a decodificação de estilo.
3. Ganhos de Desempenho: O método demonstra melhorias substanciais sobre as bases de comparação existentes tanto na recuperação de prompts de estilo quanto em tarefas de controle de estilo.
4. Recursos Abertos: O conjunto de dados e o código são liberados para facilitar pesquisas futuras em modelagem de estilo interpretável.

Resultados Experimentais

O framework foi avaliado em três tarefas:

1. Recuperação de Prompt de Estilo

A tarefa envolve reconstruir o prompt de estilo de verdade fundamental a partir da representação de estilo de um texto gerado.

• Baselines: Comparado contra métodos de descrição baseados em LLM (STYLL, RG, prompts customizados) e amostragem aleatória.
• Resultados: O decodificador proposto superou significativamente todos os baselines em três métricas:
  • ROUGE-1: 76,0% (vs. pontuações menores para os baselines).
  • Similaridade LaBSE: Melhoria de 21,7%.
  • LLM-as-Judge: Melhoria de 42,8%.
• Observação: Os baselines baseados em LLM falharam em capturar a intenção estilística subjacente, muitas vezes performando pior do que a amostragem aleatória, sugerindo que os LLMs não conseguem inferir confiavelmente o prompt generativo a partir do texto de saída sozinho.

2. Controle de Estilo (Texto Gerado por LLM)

A tarefa envolve usar um prompt decodificado para gerar um novo texto que corresponda ao estilo do texto de entrada original.

• Métricas: Medido pela distância L2 entre a representação de estilo do texto original e o novo texto gerado.
• Resultados: O decodificador alcançou a menor distância L2, superando os baselines em 12,9% em comparação com as referências geradas por LLM. Também superou o TinyStyler, um modelo de transferência de estilo de última geração, indicando que os prompts decodificados fornecem um direcionamento mais eficaz do que a manipulação direta do vetor de estilo neste contexto.

3. Direcionamento para Estilo Humano

A tarefa testou a generalização ao usar o decodificador para direcionar LLMs para corresponder ao estilo de texto escrito por humanos (fora da distribuição em relação aos dados de treinamento sintéticos).

• Resultados: O decodificador alcançou uma melhoria de 26,1% na distância L2 sobre os baselines ao corresponder a referências escritas por humanos. Isso demonstra a robustez do framework e sua capacidade de generalizar além da distribuição de treinamento sintética para a linguagem natural.

Significância e Alegações

O artigo afirma que decodificar representações de estilo em prompts acionáveis fornece uma interface prática e interpretável para a informação estilística. Ao fundamentar a interpretação em prompts que são diretamente utilizáveis para geração, o framework preenche a lacuna entre representações neurais latentes e atributos de estilo compreensíveis por humanos.

Os autores enfatizam que sua abordagem oferece um caminho para sistemas de PLN mais transparentes e direcionáveis. Eles observam que, embora o método esteja atualmente limitado ao inglês e ao domínio de QA (Perguntas e Respostas), os resultados sugerem que as representações de estilo codificam informações ricas e detalhadas que podem ser efetivamente recuperadas e utilizadas para geração controlada.

Limitações Notadas pelos Autores:

• Idioma: O framework está atualmente restrito ao inglês devido à disponibilidade e ao desempenho dos LLMs e modelos de estilo subjacentes.
• Domínio: A avaliação é limitada ao domínio de perguntas e respostas online; a generalização para prosa narrativa ou formal não foi verificada.
• Diversidade de Modelos: O conjunto de dados foi gerado usando três LLMs de tamanho semelhante; o desempenho em textos de arquiteturas ou escalas significativamente diferentes pode variar.
• Riscos Éticos: Os autores reconhecem o potencial uso indevido para minar o anonimato do autor ou fazer engenharia reversa de prompts proprietários, embora afirmem que o método foi desenhado para configurações controladas com supervisão sintética.