Resumo Técnico: Avaliando a Geração de Texto Personalizada por Estilo: Desafios e Direções

Declaração do Problema

A Geração de Texto Personalizada por Estilo (SPTG, na sigla em inglês), a capacidade de Grandes Modelos de Linguagem (LLMs) de "escrever como eu", tornou-se um recurso crítico para aplicações que variam desde a redação de e-mails até a escrita criativa. No entanto, avaliar a SPTG permanece notoriamente difícil. A tarefa é altamente específica para cada usuário, dependente de contexto pragmático e complicada pela escassez de conjuntos de dados de alta qualidade e em larga escala.

As práticas de avaliação atuais sofrem com a falta de padronização. Os benchmarks e métricas existentes — que variam desde medidas de sobreposição de n-gramas (BLEU, ROUGE, METEOR) até abordagens baseadas em embeddings e o uso de LLMs como juízes — são frequentemente desconexos. Além disso, pesquisas anteriores sugerem que os LLMs têm dificuldade em emular estilos específicos de autores de forma eficaz, levantando questões sobre se as métricas atuais medem realmente a precisão do estilo ou apenas a similaridade de conteúdo superficial. Há uma necessidade crítica de avaliar rigorosamente a eficácia dessas métricas, particularmente em cenários de baixos recursos, onde apenas um texto de referência limitado (menos de 1.500 palavras) está disponível.

Metodologia

Os autores propõem uma estrutura de avaliação abrangente centrada em um benchmark de discriminação de estilo. A tarefa central é formulada como um problema de classificação binária: dado um texto de referência ($T_{ref}$) e dois textos candidatos ($T_+$ e $T_-$), uma métrica deve determinar qual candidato é estilisticamente mais próximo da referência.

Conjuntos de Dados e Configurações

O estudo utiliza oito conjuntos de dados diversos e publicamente disponíveis de Processamento de Linguagem Natural (NLP), abrangendo escrita criativa (letras de músicas, contos), escrita formal (notícias, resumos científicos, e-mails) e escrita informal (blogs, avaliações, microblogs). A avaliação abrange três configurações distintas:

1. Discriminação de Domínio (DD): Distinguir entre textos de diferentes domínios.
2. Atribuição de Autoria (AA): Distinguir entre textos de diferentes autores dentro do mesmo domínio.
3. LLM Personalizado vs. Não Personalizado (LLM): Distinguir entre um texto gerado por LLM personalizado com um estilo de referência ($T_+$) e um gerado sem essa personalização ($T_-$) para a mesma consulta.

Métricas Avaliadas

Os autores examinam criticamente uma ampla gama de métricas:

• Sobreposição de N-gramas: BLEU, ROUGE (1, 2, L) e METEOR.
• Embeddings de Estilo: Wegmann e StyleDistance (treinados com objetivos de aprendizado contrastivo).
• LLMs-como-Juízes: Uma suíte de modelos de código aberto (Ministral, Llama, Mistral, Qwen, DeepSeek) e modelos de código fechado (o4-mini, gpt-4.1).
• Ensembles: Combinações das métricas acima usando Votação por Maioria (MV) e Votação Ponderada pelo Desempenho (PWV).

Design Experimental

O estudo emprega uma configuração de baixos recursos, limitando o texto de referência a menos de 1.500 palavras para simular restrições do mundo real. Também investiga o impacto de estratégias de prompting para métricas de LLM-como-juiz, incluindo saídas estruturadas e otimização automática de prompts (APO). Adicionalmente, foi realizado um estudo de anotação humana para medir o acordo inter-anotador (IAA) em conteúdo, estilo e preferências de edição de texto.

Principais Resultados

1. Desempenho de Métricas Individuais

• Dependência de Configuração: O desempenho varia significativamente entre as configurações. Todas as métricas performam melhor na Discriminação de Domínio (DD), moderadamente na Atribuição de Autoria (AA) e pior na configuração de LLM Personalizado vs. Não Personalizado (LLM). Por exemplo, o gpt-4.1 alcançou 0,961 de acurácia em DD, mas caiu para 0,678 na configuração LLM.
• Hierarquia de Métricas: LLMs de código fechado atuando como juízes (especificamente o gpt-4.1) superaram consistentemente outras métricas individuais, alcançando uma acurácia média de 0,815. Entre as métricas não-LLM, o BLEU (0,733) e o StyleDistance (0,722) tiveram o melhor desempenho.
• Tamanho do Modelo: Modelos maiores de código fechado superaram consistentemente os modelos menores de código aberto. Os menores modelos (ex: Ministral-3B) performaram próximos ao acaso.
• Força Inesperada de N-gramas: Contrariando achados em transferência de estilo de texto tradicional, as métricas de n-gramas performaram bem nesta tarefa de discriminação de longo formato e baixos recursos, provavelmente porque a configuração de avaliação focou em características estilísticas mais amplas em vez de transferência ao nível de sentença.

2. O Poder dos Ensembles

A descoberta mais significativa é que ensembles de métricas diversas superam consistentemente qualquer métrica individual.

• O ensemble $\rho_{all}$ (combinando BLEU, ROUGE-L, Wegmann, StyleDistance e gpt-4.1) alcançou a maior acurácia média (0,821), superando a melhor métrica individual (gpt-4.1 com 0,815).
• A votação ponderada pelo desempenho (PWV) geralmente gerou melhorias marginais em relação à votação por maioria.
• Os ensembles ajudaram a mitigar as fraquezas de paradigmas individuais, particularmente na desafiadora configuração LLM.

3. Desafios na Avaliação de LLM

A configuração LLM provou ser a mais difícil, com uma queda notável no desempenho das métricas de embedding de estilo (-38,3% de DD para LLM). Isso é atribuído à alta similaridade semântica entre as saídas personalizadas e não personalizadas geradas pelo mesmo modelo para a mesma consulta, tornando a discriminação estilística inerentemente difícil.

4. Acordo Humano

A anotação humana revelou que as preferências de estilo são mais subjetivas do que as de conteúdo. O acordo inter-anotador foi alto para conteúdo (0,779), mas moderado para estilo (0,641) e baixo para edição de texto (0,400), reforçando a complexidade e a subjetividade da avaliação de SPTG.

Principais Contribuições

1. Evidência Empírica para Ensembles: O artigo fornece evidências robustas de que o uso de ensembles de métricas diversas é mais eficaz do que confiar em uma única métrica para SPTG.
2. Benchmark Abrangente: Os autores introduzem um benchmark de avaliação rigoroso abrangendo oito tarefas de escrita diversas e três configurações de avaliação, especificamente projetado para testar a discriminação de estilo em cenários de longo formato e baixos recursos.

Significância e Alegações

O artigo conclui que não existe um padrão ouro existente para medir a SPTG. O cenário atual é caracterizado por métricas não padronizadas com limitações conhecidas e correlações fracas com o julgamento humano.

Os autores argumentam que:

• O Escrutínio é Necessário: A eficácia das métricas atuais deve ser criticamente examinada, pois elas frequentemente falham em capturar as nuances do estilo específico do autor, especialmente em contextos gerados por LLM.
• Ensembles são Necessários: Confiar em uma única métrica é insuficiente; uma combinação de abordagens é necessária para uma avaliação confiável.
• Direções Futuras: Os esforços futuros devem focar no desenvolvimento de novas métricas de avaliação confiáveis que se adaptem melhor às demandas evolutivas da SPTG, em vez de simplesmente aplicar benchmarks existentes. O artigo enfatiza que a complexidade da SPTG é exacerbada pelas dependências pragmáticas e pela natureza subjetiva do estilo, exigindo uma mudança para práticas de medição mais robustas e padronizadas.