Resumen Técnico: Interpretación de Representaciones de Estilo mediante Prompts de Estilo Elicitados

Declaración del Problema

El aprendizaje de representaciones de estilo proporciona embeddings vectoriales potentes para el análisis de autoría y el modelado del estilo de escritura. Sin embargo, estas representaciones son latentes, lo que dificulta la interpretación de qué atributos estilísticos específicos codifican o cómo interactuar con ellas para la generación de texto controlada.

Los enfoques existentes intentan interpretar estas representaciones mediante el uso de prompts para que los Modelos de Lenguaje Extensos (LLMs) generen descripciones en lenguaje natural del texto de entrada. Los autores identifican dos limitaciones críticas en este paradigma:

1. Fiabilidad: Las descripciones de texto libre son propensas a los sesgos y alucinaciones de los LLM, pasando por alto a menudo matices de las características estilísticas.
2. Funcionalidad: Estas descripciones son principalmente explicativas en lugar de funcionales. No está claro cómo utilizarlas de manera fiable para reproducir, manipular o transferir estilos de escritura.

El artículo postula que la interpretación debe fundamentarse en el control. En lugar de simplemente describir un estilo, el objetivo es recuperar instrucciones de lenguaje natural explícitas (prompts) que puedan guiar a un LLM para generar texto con las mismas propiedades estilísticas.

Metodología

1. Formulación del Problema

Los autores definen la tarea como la decodificación de un vector de representación de estilo $\mathbf{x}$ (derivado de un texto de entrada) en un prompt de estilo de lenguaje natural $s$. El objetivo es aprender un decodificador $D$ tal que:

1. El prompt decodificado $\hat{s}$ caracterice las características estilísticas codificadas en $\mathbf{x}$.
2. El uso de $\hat{s}$ para condicionar a un LLM genere un texto $y$ cuyo vector de representación de estilo sea cercano al $\mathbf{x}$ original.

La optimización directa de este objetivo es inviable debido a la naturaleza discreta y vasta del espacio de los prompts. Por lo tanto, los autores reformulan el problema como una tarea de aprendizaje supervisado utilizando datos sintéticos.

2. Construcción del Conjunto de Datos

Para permitir el entrenamiento supervisado, los autores construyeron un conjunto de datos sintético a gran escala que comprende 1.8 millones de respuestas estilizadas emparejadas con sus prompts de estilo de verdad fundamental (ground-truth). La construcción implicó tres etapas:

• Curación de Características de Estilo: Utilizando GPT-4o, generaron 1,010 características de estilo modulares y distintas organizadas en 26 categorías estilísticas (por ejemplo, "Estructura de la Oración", "Tono", "Estrategia Retórica"). Estas características fueron curadas manualmente para asegurar la distinción semántica.
• Curación de Preguntas: Se muestrearon 300,000 preguntas del mundo real de Reddit, StackExchange y Yahoo Answers para asegurar la diversidad de contenido.
• Generación Estilizada: Se utilizó prompts con combinaciones de 1 a 10 características de estilo y una pregunta específica en diversos LLMs (Phi-4, Qwen2.5-14B, OLMo-2-13B) para generar respuestas. Este proceso aseguró que el texto generado exhibiera de manera fiable las restricciones estilísticas definidas en el prompt.

3. Arquitectura del Modelo

El marco propuesto emplea un decodificador $D$ que consiste en:

• Un LLM congelado (Ministral-8B-Instruct) que interpreta la señal estilística.
• Un módulo de proyección entrenable (una red feedforward de tres capas con activaciones GeLU) que mapea el vector de estilo de entrada al espacio de embeddings de tokens del LLM.
• Una instrucción de lenguaje natural fija que se antepone al vector proyectado para guiar la tarea de generación.

El modelo se entrena para minimizar la pérdida de entropía cruzada a nivel de token entre el prompt decodificado y el prompt de estilo de verdad fundamental utilizado para generar el texto.

Contribuciones Clave

1. Un Marco Basado en Decodificadores: Los autores introducen un método para traducir representaciones de estilo latentes en prompts de estilo de lenguaje natural accionables, permitiendo un uso interpretable y controlable de la información estilística.
2. Conjunto de Datos Sintético a Gran Escala: Publican un conjunto de datos de 1.8M de textos estilizados emparejados con prompts de estilo compositivos y diversos que abarcan 26 dimensiones, proporcionando una supervisión detallada para la decodificación de estilo.
3. Mejoras de Rendimiento: El método demuestra mejoras sustanciales sobre las líneas base existentes tanto en la recuperación de prompts de estilo como en las tareas de control de estilo.
4. Recursos Abiertos: El conjunto de datos y el código se liberan para facilitar la investigación futura en el modelado de estilo interpretable.

Resultados Experimentales

El marco fue evaluado en tres tareas:

1. Recuperación de Prompts de Estilo

La tarea consiste en reconstruir el prompt de estilo de verdad fundamental a partir de la representación de estilo de un texto generado.

• Líneas Base: Comparado contra métodos de descripción basados en LLM (STYLL, RG, prompts personalizados) y muestreo aleatorio.
• Resultados: El decodificador propuesto superó significativamente a todas las líneas base en tres métricas:
  • ROUGE-1: 76.0% (frente a puntuaciones más bajas para las líneas base).
  • Similitud LaBSE: Mejora del 21.7%.
  • LLM-as-Judge (LLM como Juez): Mejora del 42.8%.
• Observación: Las líneas base basadas en LLM no lograron capturar la intención estilística subyacente, rindiendo a menudo peor que el muestreo aleatorio, lo que sugiere que los LLM no pueden inferir de manera fiable el prompt generativo a partir del texto de salida por sí solos.

2. Control de Estilo (Texto Generado por LLM)

La tarea consiste en utilizar un prompt decodificado para generar nuevo texto que coincida con el estilo del texto de entrada original.

• Métricas: Medido por la distancia L2 entre la representación de estilo del texto original y el texto recién generado.
• Resultados: El decodificador logró la distancia L2 más pequeña, superando a las líneas base por un 12.9% en comparación con las referencias generadas por LLM. También superó a TinyStyler, un modelo de transferencia de estilo de vanguardia, indicando que los prompts decodificados proporcionan un direccionamiento más efectivo que la manipulación directa del vector de estilo en este contexto.

3. Direccionamiento hacia el Estilo Humano

La tarea probó la generalización utilizando el decodificador para dirigir a los LLM a coincidir con el estilo de texto escrito por humanos (fuera de la distribución de los datos de entrenamiento sintéticos).

• Resultados: El decodificador logró una mejora de la distancia L2 del 26.1% sobre las líneas base al coincidir con las referencias escritas por humanos. Esto demuestra la robustez del marco y su capacidad de generalización más allá de la distribución de entrenamiento sintética hacia el lenguaje natural.

Significancia y Reivindicaciones

El artículo afirma que decodificar las representaciones de estilo en prompts accionables proporciona una interfaz práctica e interpretable para la información de estilo. Al fundamentar la interpretación en prompts que son directamente utilizables para la generación, el marco cierra la brecha entre las representaciones neuronales latentes y los atributos de estilo comprensibles para los humanos.

Los autores enfatizan que su enfoque ofrece un camino hacia sistemas de NLP más transparentes y dirigibles. Señalan que, aunque el método está actualmente limitado al inglés y al dominio de preguntas y respuestas (QA), los resultados sugieren que las representaciones de estilo codifican información rica y detallada que puede ser recuperada y utilizada eficazmente para la generación controlada.

Limitaciones Notadas por los Autores:

• Idioma: El marco está actualmente restringido al inglés debido a la disponibilidad y el rendimiento de los LLM y los modelos de estilo subyacentes.
• Dominio: La evaluación se limita al dominio de preguntas y respuestas en línea; la generalización a la prosa narrativa o formal no ha sido verificada.
• Diversidad de Modelos: El conjunto de datos fue generado utilizando tres LLM de tamaño similar; el rendimiento en textos de arquitecturas o escalas significativamente diferentes puede variar.
• Riesgos Éticos: Los autores reconocen el posible uso indebido para socavar el anonimato del autor o realizar ingeniería inversa de prompts propietarios, aunque afirman que el método está diseñado para entornos controlados con supervisión sintética.