Funny or Persuasive, but Not Both: Evaluating Fine-Grained Multi-Concept Control in LLMs

Resumo Técnico: Engraçado ou Persuasivo, mas Não Ambos: Avaliando o Controle de Múltiplos Conceitos de Grão Fino em LLMs

Declaração do Problema
Os Grandes Modelos de Linguagem (LLMs) possuem fortes capacidades generativas, mas muitas aplicações exigem controle explícito e detalhado sobre conceitos textuais específicos, como humor, persuasão ou formalidade. Embora trabalhos anteriores tenham explorado o controle via prompting, engenharia de representação e transferência de estilo, essas abordagens geralmente oferecem um controle grosseiro ou de atributo único. Benchmarks existentes, como o SCTG, avaliam a calibração para um atributo por vez, mas falham em avaliar como os modelos se comportam quando dois conceitos distintos são controlados simultaneamente. O problema central abordado é a falta de uma avaliação sistemática para o controle de múltiplos conceitos de grão fino e o desconhecido grau em que os modelos podem destrincar e compor dimensões estilísticas independentes.

Metodologia
Os autores introduzem um framework de avaliação sistemática projetado para avaliar a controlabilidade de grão fino tanto em configurações de conceito único quanto de duplo conceito.

• Definição do Framework: A tarefa é definida como gerar um texto $y$ dado um contexto $x$ e conceitos alvo $C_a, C_b$ com níveis discretos desejados $\ell \in \{0, \dots, 4\}$. O framework avalia:
  1. Controle de conceito único: Gerar saídas através de níveis para um único conceito.
  2. Controle de duplo conceito: Gerar saídas onde um conceito é o alvo (variando níveis) enquanto um conceito secundário é mantido fixo em um nível específico ou amostrado aleatoriamente.
• Protocolo de Avaliação:
  • Modelos: O estudo avalia LLMs de médio porte, ajustados por instrução (7B–14B de parâmetros), especificamente Llama 3.2-11B, Gemma 3-12B e Qwen3-14B.
  • Conceitos: Seis conceitos linguisticamente distintos são testados: humor, persuasividade, clareza, polidez, assertividade e formalidade. Três pares são selecionados com base em evidências teóricas e empíricas de sua distinção: humor–persuasividade, clareza–polidez e assertividade–formalidade.
  • Tarefas: Os experimentos abrangem geração de argumentos, geração de histórias e geração de texto estruturado.
  • Métrica: Um LLM mais forte (GPT-4.1) atua como juiz, realizando comparações pareadas das saídas geradas para determinar qual exibe mais do conceito alvo. O alinhamento entre os níveis pretendidos e o ranking empírico do juiz é medido usando a correlação de posto de Spearman ($\rho$). Transformações z de Fisher são aplicadas para agregação estatística e teste de hipóteses.
• Método de Controle: O estudo foca no controle baseado em prompting, utilizando templates de prompt estruturados que codificam explicitamente as intensidades dos conceitos desejados.

Resultos Principais
Os experimentos revelam uma lacuna significativa entre o desempenho de conceito único e de duplo conceito:

1. Degradação de Desempenho em Configurações de Duplo Conceito: Embora os modelos geralmente alcancem uma forte calibração de grão fino para conceitos individuais (altas correlações de Spearman), o desempenho cai drasticamente quando um conceito secundário é introduzido. Essa queda ocorre mesmo para pares de conceitos que são intuitivamente ortogonais (ex: clareza vs. humor).
2. Falha de Composicionalidade: Os resultados sugerem que as dimensões conceituais nos LLMs atuais estão emaranhadas de formas que resistem à composição ingênua. Mesmo quando os conceitos deveriam ser independentes, a presença de um sinal de controle secundário compromete a capacidade do modelo de manter o nível pretendido do conceito primário.
3. Variância de Modelo e Tarefa:
   • Tamanho do Modelo/Arquitetura: Qwen-14B e Gemma-12B superam consistentemente o Llama-11B em todas as configurações, sugerindo que modelos maiores ou mais ajustados por instrução preservam melhor o destrinçamento entre dimensões estilísticas.
   • Contexto da Tarefa: A geração narrativa permite uma variação de estilo mais flexível, enquanto contextos argumentativos e estruturados amplificam os conflitos entre objetivos estilísticos, levando a quedas de desempenho mais pronunciadas.
4. Significância Estatística: Testes t pareados em correlações transformadas por Fisher confirmam que a introdução de um conceito secundário prejudica significativamente a controlabilidade para a maioria dos pares de conceitos e modelos (ex: $p < 0,05$ para muitas comparações).

Principais Contribuições

1. Framework de Avaliação: O artigo fornece um framework principiado e agnóstico a modelos e métodos para medir a controlabilidade de múltiplos conceitos de grão fino, preenchendo uma lacuna deixada por benchmarks de atributo único.
2. Evidência Empírica de Limitações: Oferece evidência sistemática de que os LLMs atuais lutam com a composicionalidade do controle estilístico, mesmo quando os conceitos são teoricamente independentes.
3. Base para Pesquisas Futuras: Ao estabelecer métricas claras e identificar modos comuns de falha (especificamente a queda de desempenho durante o controle de duplo conceito), este trabalho estabelece uma base para o desenvolvimento de métodos mais robustos para o controle conceitual interpretável e multidimensional.

Significância
O artigo afirma que, embora o prompting ofereça um método amplamente acessível para o controle de conceito único, ele revela uma limitação fundamental: os modelos têm dificuldade em coordenar conjuntamente múltiplas dimensões estilísticas. Os autores postulam que este trabalho estabelece uma base necessária para pesquisas futuras sobre o controle conceitual interpretável e composicional. Ao quantificar a lacuna entre o controle pretendido e o realizado em cenários de múltiplos conceitos, o framework visa incentivar o desenvolvimento de métodos capazes de um controle preciso, de grão fino e destrinçado através de múltiplos eixos estilísticos em modelos de linguagem. Os autores permanecem modestos, observando que suas conclusões não assumem a separabilidade conceitual nas representações internas do modelo, mas focam na capacidade do usuário de especificar e alcançar níveis separados para conceitos distintos.