Label-Consistent Data Generation for Aspect-Based Sentiment Analysis Using LLM Agents

1. Problema y Contexto

La Análisis de Sentimiento Basado en Aspectos (ABSA) es una tarea crítica para aplicaciones como el análisis de feedback de clientes. Su objetivo es identificar términos específicos (aspectos) en un texto y determinar la polaridad del sentimiento hacia cada uno. Sin embargo, el ABSA enfrenta dos desafíos principales:

• Costo y Escasez de Datos: Requiere anotaciones a nivel de aspecto muy detalladas, que son costosas de producir y tienen una cobertura limitada.
• Limitaciones de la Generación Sintética Actual: Los métodos existentes que utilizan Grandes Modelos de Lenguaje (LLM) para generar datos sintéticos dependen principalmente de la solicitación directa (prompting). Esto suele resultar en:
  • Inconsistencias en las etiquetas (el texto generado no coincide con la polaridad o el aspecto solicitado).
  • Falta de diversidad estructural.
  • Manejo insuficiente de casos extremos (corner cases).

El objetivo del trabajo es determinar si un enfoque agenteico (multi-paso, con verificación) puede superar estas limitaciones y generar datos sintéticos de alta calidad que mejoren el rendimiento de los modelos de ABSA.

2. Metodología

Los autores proponen un pipeline de aumento de datos basado en agentes LLM dentro de un marco estilo ReAct (Reason + Act), utilizando el modelo Qwen2.5-14B.

Arquitectura Agenteica

El sistema se compone de dos agentes cooperativos con roles definidos:

1. Agente Generador:
   • Extrae una "política de estilo" (estilo de escritura, estructura gramatical, longitud) de ejemplos reales.
   • Muestrea pares de términos de aspecto y polaridades de los datos de entrenamiento reales (SemEval).
   • Genera oraciones candidatas que deben adherirse estrictamente a la política de estilo y a los pares aspecto-polaridad muestreados.
2. Agente Evaluador:
   • Realiza una verificación estricta antes de aceptar cualquier dato.
   • Herramienta de Inclusión de Etiquetas: Verifica que todos los términos de aspecto requeridos aparezcan exactamente como se especificó (evitando cambios de plural o términos faltantes).
   • Herramienta de Verificador de Etiquetas: Evalúa si la polaridad del sentimiento en la oración coincide con la etiqueta asignada.
   • Solo los ejemplos que pasan ambas pruebas se guardan en el conjunto de datos sintético; los demás se descartan y se solicita al generador crear un nuevo ejemplo.

Línea Base de Comparación

Para aislar el efecto de la estructura agenteica, los autores desarrollaron una línea base de solicitación (prompting) directa. Esta utiliza el mismo modelo (Qwen2.5), las mismas instrucciones, el mismo muestreo de aspectos y la misma estrategia de muestreo, pero sin los pasos de extracción de estilo, uso de herramientas o verificación automática. Esto permite una comparación controlada donde la única variable es la arquitectura de generación.

3. Contribuciones Clave

1. Flujo de Trabajo Agenteico para ABSA: Introducción de un pipeline que descompone la generación en pasos de extracción de estilo, generación controlada y verificación automática, asegurando que los datos sintéticos cumplan estrictamente con los requisitos complejos del ABSA.
2. Línea Base Emparejada: Diseño de un baseline de prompting idéntico en configuración para demostrar que las mejoras provienen de la estructura de verificación y no de la elección del modelo o prompts.
3. Análisis Sistemático: Evaluación exhaustiva de cómo la pre-entrenamiento del modelo, la escala de aumento y la complejidad de la sub-tarea afectan la utilidad de los datos sintéticos.

4. Resultados Experimentales

Los métodos se evaluaron en cuatro conjuntos de datos SemEval (Laptop14, Rest14, Rest15, Rest16) y tres sub-tareas: Extracción de Términos de Aspecto (ATE), Clasificación de Sentimiento de Aspecto (ATSC) y Extracción de Pares Aspecto-Sentimiento (ASPE). Se utilizaron dos modelos: T5-Base y Tk-Instruct.

• Consistencia de Etiquetas: El enfoque agenteico demostró una consistencia de etiquetas significativamente superior (hasta un 78% en ATE vs. 43% en prompting) en comparación con el prompting directo. El agente evaluador filtra eficazmente los errores estructurales y semánticos.
• Rendimiento en Datos Mixtos:
  • Entrenar solo con datos sintéticos (incluso los generados por agentes) resultó en una caída drástica del rendimiento en comparación con los datos reales.
  • Sin embargo, al mezclar datos sintéticos con datos reales (proporción 1:1), el aumento agenteico mejoró consistentemente el rendimiento, superando al prompting directo.
• Sensibilidad del Modelo:
  • T5-Base: Se benefició enormemente del aumento agenteico, logrando un rendimiento comparable e incluso superior al de Tk-Instruct en algunos casos. Esto sugiere que el aumento de alta calidad puede compensar la falta de ajuste por instrucciones masivo.
  • Tk-Instruct: Al ser un modelo fuertemente ajustado por instrucciones (instruction-tuned), mostró mejoras marginales o nulas, ya que ya posee un conocimiento previo robusto sobre la tarea.
• Complejidad de la Tarea:
  • ATSC: Mostró las mayores ganancias (tarea más simple).
  • ATE: Mejoras consistentes pero menores.
  • ASPE: Las ganancias fueron limitadas e inconsistentes debido a la alta complejidad estructural y la dificultad de mantener la consistencia de etiquetas en pares múltiples.
• Escala de Aumento: Aumentar la cantidad de datos sintéticos más allá de una relación 1:1 (x2) no aportó beneficios adicionales y, en algunos casos, degradó el rendimiento debido a la amplificación del ruido.

5. Significado y Conclusiones

El estudio demuestra que la generación de datos sintéticos de alta calidad para ABSA no depende solo de buenos prompts, sino de un proceso estructurado de generación, verificación y filtrado.

• Viabilidad: Un pipeline agenteico automatizado puede producir datos sintéticos que, al combinarse con datos reales, mejoran significativamente los modelos menos pre-entrenados (como T5-Base), reduciendo la brecha de rendimiento con modelos masivamente ajustados por instrucciones (como Tk-Instruct).
• Eficiencia: Este enfoque ofrece una alternativa escalable y automatizada a la anotación humana costosa, siempre que se utilice con moderación (mezcla 1:1) y se priorice la calidad sobre la cantidad.
• Limitaciones: La efectividad depende de la capacidad del LLM subyacente para realizar tareas de razonamiento y verificación, y los datos sintéticos aún no pueden reemplazar completamente la riqueza lingüística y la diversidad de los datos anotados por humanos.

En resumen, el trabajo valida que la arquitectura agenteica es superior al prompting directo para tareas de NLP estructuradas y de alta precisión como el ABSA, proporcionando datos más limpios y alineados con las etiquetas objetivo.