Funny or Persuasive, but Not Both: Evaluating Fine-Grained Multi-Concept Control in LLMs

Resumen Técnico: Divertido o Persuasivo, pero no ambos: Evaluación del Control Multiconceptual de Grano Fino en LLMs

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLMs) poseen sólidas capacidades generativas, sin embargo, muchas aplicaciones requieren un control explícito y de grano fino sobre conceptos textuales específicos como el humor, la persuasión o la formalidad. Aunque trabajos previos han explorado el control mediante el uso de prompts, ingeniería de representación y transferencia de estilo, estos enfoques generalmente ofrecen un control grueso o de un solo atributo. Los benchmarks existentes, como SCTG, evalúan la calibración para un atributo a la vez, pero no logran evaluar cómo se comportan los modelos cuando se controlan dos conceptos distintos simultáneamente. El problema central abordado es la falta de una evaluación sistemática para la controlabilidad multiconceptual de grano fino y el grado desconocido en que los modelos pueden desenredar y componer dimensiones estilísticas independientes.

Metodología
Los autores introducen un marco de evaluación sistemático diseñado para evaluar la controlabilidad de grano fino tanto en entornos de un solo concepto como de concepto dual.

• Definición del Marco: La tarea se define como la generación de un texto $y$ dado un contexto $x$ y conceptos objetivo $C_a, C_b$ con niveles discretos deseados $\ell \in \{0, \dots, 4\}$. El marco evalúa:
  1. Control de un solo concepto: Generación de salidas a través de niveles para un concepto.
  2. Control de concepto dual: Generación de salidas donde un concepto es el objetivo (variando los niveles) mientras que un segundo concepto se mantiene fijo en un nivel específico o se muestrea aleatoriamente.
• Protocolo de Evaluación:
  • Modelos: El estudio evalúa LLMs de tamaño medio y ajustados por instrucciones (7B–14B de parámetros), específicamente Llama 3.2-11B, Gemma 3-12B y Qwen3-14B.
  • Conceptos: Se prueban seis conceptos lingüísticamente distintos: humor, persuasividad, claridad, cortesía, asertividad y formalidad. Se seleccionan tres pares basados en evidencia teórica y empírica de su distinción: humor–persuasividad, claridad–cortesía y asertividad–formalidad.
  • Tareas: Los experimentos cubren la generación de argumentos, la generación de historias y la generación de texto estructurado.
  • Métrica: Un LLM más fuerte (GPT-4.1) actúa como juez, realizando comparaciones por pares de las salidas generadas para determinar cuál exhibe más del concepto objetivo. La alineación entre los niveles pretendidos y el ranking empírico del juez se mide utilizando la correlación de rango de Spearman ($\rho$). Se aplican transformaciones z de Fisher para la agregación estadística y las pruebas de hipótesis.
• Método de Control: El estudio se centra en el control basado en prompts, utilizando plantillas de prompts estructuradas que codifican explícitamente las intensidades de los conceptos deseados.

Resultados Clave
Los experimentos revelan una brecha significativa entre el rendimiento de un solo concepto y el de concepto dual:

1. Degradación del Rendimiento en Entornos de Concepto Dual: Aunque los modelos generalmente logran una fuerte calibración de grano fino para conceptos individuales (altas correlaciones de Spearman), el rendimiento cae drásticamente cuando se introduce un segundo concepto. Este declive ocurre incluso para pares de conceptos que son intuitivamente ortogonales (por ejemplo, claridad frente a humor).
2. Fallo de Composicionalidad: Los resultados sugieren que las dimensiones de los conceptos en los LLMs actuales están entrelazadas de maneras que resisten la composición ingenua. Incluso cuando los conceptos deberían ser independientes, la presencia de una señal de control secundaria compromete la capacidad del modelo para mantener el nivel pretendido del concepto primario.
3. Varianza de Modelo y Tarea:
   • Tamaño del Modelo/Arquitectura: Qwen-14B y Gemma-12B superan consistentemente a Llama-11B en todos los entornos, lo que sugiere que los modelos más grandes o mejor ajustados por instrucciones preservan mejor el desenredo entre las dimensiones estilísticas.
   • Contexto de la Tarea: La generación narrativa permite una variación de estilo más flexible, mientras que los contextos argumentativos y estructurados amplifican los conflictos entre los objetivos estilísticos, lo que conduce a caídas de rendimiento más pronunciadas.
4. Significancia Estadística: Las pruebas t de muestras pareadas en las correlaciones de la transformación de Fisher confirman que la introducción de un concepto secundario perjudica significativamente la controlabilidad para la mayoría de los pares de conceptos y modelos (por ejemplo, $p < 0.05$ para muchas comparaciones).

Contribuciones Clave

1. Marco de Evaluación: El artículo proporciona un marco principista, agnóstico al modelo y al método, para medir la controlabilidad multiconceptual de grano fino, llenando un vacío dejado por los benchmarks de un solo atributo.
2. Evidencia Empírica de Limitaciones: Ofrece evidencia sistemática de que los LLMs actuales tienen dificultades con la composicionalidad del control estilístico, incluso cuando los conceptos son teóricamente independientes.
3. Línea Base para Investigaciones Futuras: Al establecer métricas claras e identificar modos comunes de fallo (específicamente la caída en el rendimiento durante el control de concepto dual), este trabajo establece una base para desarrollar métodos más robustos para el control conceptual interpretable y multidimensional.

Significancia
El artículo sostiene que, si bien el uso de prompts ofrece un método ampliamente accesible para el control de un solo concepto, este revela una limitación fundamental: los modelos tienen dificultades para coordinar conjuntamente múltiples dimensiones estilísticas. Los autores postulan que este trabajo establece una base necesaria para la investigación futura en el control conceptual interpretable y composicional. Al cuantificar la brecha entre el control pretendido y el realizado en escenarios de múltiples conceptos, el marco pretende fomentar el desarrollo de métodos capaces de un control preciso, de grano fino y desenredado a través de múltiples ejes estilísticos en los modelos de lenguaje. Los autores mantienen la modestia, señalando que sus conclusiones no asumen la separabilidad conceptual en las representaciones internas del modelo, sino que se centran en la capacidad del usuario para especificar y lograr niveles separados para distintos conceptos.