QuadAI at SemEval-2026 Task 3: Ensemble Learning of Hybrid RoBERTa and LLMs for Dimensional Aspect-Based Sentiment Analysis

El sistema QuadAI para SemEval-2026 Task 3 mejora el análisis de sentimientos basado en aspectos multidimensionales mediante un aprendizaje por conjuntos que combina un codificador híbrido RoBERTa con modelos de lenguaje grandes (LLMs), logrando una reducción significativa del error cuadrático medio y una mayor correlación al aprovechar las fortalezas complementarias de ambos enfoques.

Lo esencial

¡Hola! Imagina que el análisis de sentimientos es como intentar adivinar cómo se siente una persona solo leyendo lo que dice. A veces es fácil ("¡Qué feliz estoy!"), pero a menudo es complicado ("Estoy un poco frustrado, pero también emocionado").

El equipo QuadAI de la Universidad de Leiden participó en una competencia mundial llamada SemEval-2026 para resolver este problema de forma más precisa. Su objetivo no era solo decir si algo era "bueno" o "malo", sino medir dos cosas muy específicas:

1. Valencia: ¿Es positivo o negativo? (Como un termómetro de felicidad).
2. Arousal (Activación): ¿Es una emoción tranquila o intensa? (Como un medidor de energía).

Aquí te explico cómo lo hicieron usando analogías sencillas:

1. El "Cerebro Híbrido" (RoBERTa Híbrido)

Imagina que tienes a dos expertos analizando un texto:

• El Experto Matemático (Regresión): Es bueno calculando números exactos. Te dice: "La emoción es un 7.4 sobre 10". Es preciso, pero a veces se pone nervioso y sus números saltan demasiado.
• El Experto Categorizador (Clasificación): Es bueno poniendo etiquetas. Te dice: "Esto es un '7' o un '8'". Es más estable y seguro, pero pierde un poco de precisión porque no puede ver los decimales.

La idea genial del equipo: En lugar de elegir a uno, contrataron a ambos y les pidieron que promediaran sus opiniones.

• Si el matemático dice "7.4" y el categorizador dice "7.5", el resultado final es una mezcla de ambos.
• Resultado: Al combinar la precisión numérica con la estabilidad de las categorías, el sistema se vuelve más robusto y comete menos errores, como si un piloto experto y un copiloto experimentado volaran el mismo avión.

2. Los "Gigantes de la Conversación" (LLMs)

Luego, trajeron a los Modelos de Lenguaje Grande (LLMs), que son como super-inteligencias artificiales (tipo ChatGPT o Gemini) que han leído casi todo internet.

• En lugar de entrenarlos con miles de ejemplos, les dieron pocos ejemplos (como mostrarle a un amigo un par de frases similares antes de pedirle su opinión). A esto se le llama aprendizaje en contexto.
• El filtro de calidad: Antes de usar estos ejemplos, usaron a tres "jueces" (tres IAs diferentes) para limpiar la basura. Si los tres decían "Ejemplo, este ejemplo está mal etiquetado", lo tiraban a la basura. Así, solo usaban los ejemplos más limpios y útiles.

3. El "Comité de Sabios" (Ensamble Learning)

Aquí está la magia final. Imagina que tienes un comité para tomar una decisión importante:

• Miembro A: El "Cerebro Híbrido" (RoBERTa).
• Miembro B: El "Gigante" (LLM).
• Miembro C: Una herramienta clásica y rápida llamada VADER (que es como un diccionario de palabras positivas y negativas).

En lugar de dejar que uno solo decida, el equipo creó un sistema de votación:

1. Cada miembro da su opinión.
2. Un "presidente" (un algoritmo matemático) toma todas las opiniones y las combina.
3. A veces, el presidente decide escuchar más al experto que suele acertar más (pesos), y otras veces simplemente hace un promedio simple.

El resultado: El comité siempre acierta más que cualquier miembro trabajando solo. Es como si un equipo de médicos (el cerebro híbrido) consultara con un gurú de la salud (el LLM) y un manual médico antiguo (VADER) para dar un diagnóstico mucho más preciso.

¿Qué lograron?

• En la prueba de "Laptops": Su sistema combinado redujo significativamente los errores. Si el sistema original se equivocaba un poco, la combinación de expertos lo corrigió.
• En la prueba de "Restaurantes": Funcionó aún mejor, reduciendo el error casi a la mitad en comparación con usar solo el modelo matemático.
• Limitación: Por problemas de tiempo, solo pudieron presentar la versión del "Cerebro Híbrido" en la competencia final, sin incluir a los "Gigantes" ni al "Comité". ¡Pero prometieron compartir todo su código para que otros lo prueben!

En resumen

El equipo QuadAI no inventó un nuevo super-robot, sino que fue muy inteligente al mezclar diferentes tipos de inteligencia:

1. Un modelo rápido y estable (RoBERTa).
2. Un modelo muy listo pero que necesita ejemplos (LLM).
3. Un sistema para combinarlos y que se ayuden mutuamente.

Es como cocinar un plato delicioso: no basta con tener los ingredientes más caros (el LLM), necesitas saber cómo combinarlos con los básicos (RoBERTa) para que el sabor final sea perfecto. ¡Y así es como ganaron puntos en la competencia!

Resumen técnico

Resumen Técnico: QuadAI en SemEval-2026 Task 3

1. Problema y Contexto

El trabajo se centra en la Tarea 3 de SemEval-2026, específicamente en el seguimiento Track-A1: "DimASR - Predicción de Valencia-Arousal (VA)".

• Objetivo: Realizar un análisis de sentimiento basado en aspectos (ABSA) dimensional. A diferencia del análisis binario (positivo/negativo), el sistema debe predecir dos valores continuos para cada aspecto en un texto:
  • Valencia: Grado de positividad o negatividad.
  • Arousal: Intensidad emocional (de alta a baja).
• Desafíos: La tarea enfrenta problemas de escasez de datos, aplicación en dominios específicos (como reseñas de laptops y restaurantes) y la complejidad de modelar las relaciones entre aspectos, opiniones y emociones multidimensionales.

2. Metodología Propuesta

El equipo QuadAI propone un enfoque híbrido que combina modelos de codificadores preentrenados (PLMs) con Modelos de Lenguaje Grande (LLMs) mediante aprendizaje por conjuntos (Ensemble Learning).

A. Codificador Híbrido RoBERTa
Se diseñó un modelo basado en RoBERTa que utiliza dos cabezas de predicción en paralelo para mejorar la estabilidad:

1. Cabeza de Regresión: Predice directamente los valores continuos de Valencia y Arousal.
2. Cabeza de Clasificación Discretizada: El espacio objetivo continuo se divide en $n$ "bins" (cubos). El modelo predice la probabilidad de pertenencia a cada bin y calcula el valor esperado.
   • Ventaja: La clasificación discretizada ofrece un entrenamiento más estable y expresa confianza en rangos específicos.
3. Fusión: La predicción final ($\hat{y}$) es un promedio ponderado de ambas salidas:
   $$\hat{y} = w \cdot \hat{y}_{reg} + (1-w) \cdot \hat{y}_{cls}$$
   Donde $w=0.5$ fue la configuración óptima encontrada.

B. Modelos de Lenguaje Grande (LLMs) y Aprendizaje en Contexto (ICL)
Se exploró el uso de LLMs (Gemini, Claude, GPT-5.2) mediante prompting en contexto:

• Selección de Ejemplos: Se comparó el uso de ejemplos aleatorios frente a ejemplos seleccionados semánticamente (basados en similitud de embeddings de oraciones).
• Limpieza de Datos (Data Cleaning): Se implementó un proceso de filtrado de calidad utilizando HDBScan para agrupar instancias por similitud de Valencia/Arousal. Tres LLMs diferentes actuaron como jueces para identificar y eliminar casos atípicos (outliers) o etiquetas incorrectas dentro de los clusters.
• Estrategia: Se utilizó Gemini como el LLM principal para la etapa final de predicción debido a su mejor rendimiento.

C. Aprendizaje por Conjuntos (Ensemble Learning)
Para combinar las predicciones del Codificador Híbrido y los LLMs, se empleó una fusión a nivel de predicción (late fusion):

• Métodos: Promedio simple, promedio ponderado (búsqueda en cuadrícula) y stacking con regresión Ridge.
• Características Adicionales: Se incorporaron características léxicas de VADER (polaridad compuesta, positiva, neutral, negativa) como entradas auxiliares para el combinador.
• Resultado del Stacking: Se utilizó regresión Ridge sobre predicciones out-of-fold (OOF) para evitar la fuga de etiquetas (label leakage).

3. Resultados Clave

Los experimentos se realizaron en el conjunto de desarrollo (Dev Set) de los dominios "Laptops" y "Restaurantes".

• Rendimiento del Modelo Híbrido (RoBERTa):
  • En el dominio de Laptops, el modelo híbrido superó a las variantes de solo regresión y solo clasificación, logrando una reducción significativa en el Error Cuadrático Medio (MSE) y la Raíz del Error Cuadrático Medio (RMSE).
  • En el dominio de Restaurantes, el modelo híbrido redujo el MSE casi a la mitad en comparación con el modelo de regresión pura (0.4919 vs 0.8176).
• Rendimiento de los LLMs:
  • Los LLMs con aprendizaje en contexto (ICL) mostraron un rendimiento superior al modelo híbrido individual, logrando un RMSE de 0.695 frente a 0.7361 del híbrido, y mejoraron la correlación media de Pearson.
• Rendimiento del Ensemble (Combinación):
  • La combinación de ambos enfoques mediante stacking o promedios ponderados logró los mejores resultados globales.
  • RMSE óptimo: 0.6344 (comparado con 0.7361 del híbrido solo y 0.695 del LLM solo).
  • Hallazgo sobre VADER: La inclusión de características VADER no mejoró los resultados y, en algunos casos, degradó ligeramente el rendimiento, sugiriendo que añadían ruido o señal redundante a los modelos neuronales avanzados.
• Ranking Oficial (Submisiones):
  • Debido a limitaciones de tiempo, solo se subió el modelo híbrido (sin LLMs ni ensemble) a la tarea final.
  • Laptops: Puesto 16/30 (Error: 1.4062 vs el mejor 1.2408).
  • Restaurantes: Puesto 22/33 (Error: 1.3632 vs el mejor 1.1035).
  • A pesar de no usar el ensemble completo en la submición, el modelo híbrido superó significativamente a la línea base y a los equipos con peor rendimiento.

4. Contribuciones Clave

1. Arquitectura Híbrida Estable: Demostración de que combinar cabezas de regresión y clasificación discretizada en RoBERTa mejora la estabilidad del entrenamiento y la precisión en tareas de regresión dimensional.
2. Pipeline de Limpieza de Datos con LLMs: Propuesta de un método novedoso para limpiar datos de entrenamiento en contexto utilizando múltiples LLMs y clustering (HDBScan) para detectar outliers.
3. Sinergia de Modelos: Evidencia empírica de que los enfoques basados en codificadores (eficientes y estables) y los LLMs (flexibles y potentes) tienen fortalezas complementarias que, al combinarse mediante stacking, superan a cualquiera de los modelos individuales.
4. Recursos Abiertos: El código y los recursos se han hecho públicos para fomentar la ciencia abierta.

5. Significado y Conclusiones

El trabajo de QuadAI demuestra que el futuro del análisis de sentimiento dimensional no reside en un único modelo, sino en la integración estratégica de arquitecturas eficientes (como RoBERTa) con la capacidad de razonamiento de los LLMs.

• Impacto: La reducción sustancial en el RMSE y el aumento en las puntuaciones de correlación al utilizar ensemble learning valida la hipótesis de que la fusión de representaciones continuas y discretas, junto con el conocimiento de LLMs, es crucial para capturar matices emocionales complejos.
• Limitaciones y Futuro: El estudio se limitó al conjunto de desarrollo debido a restricciones de tiempo. Los autores planean evaluar la generalización en otros idiomas (como el chino) y explorar técnicas de ajuste automático de hiperparámetros (ej. Optuna) y métodos de ensemble más avanzados para futuras iteraciones.

En resumen, el sistema QuadAI establece un nuevo estándar para la tarea DimASR al demostrar que la combinación de estabilidad arquitectónica y potencia de lenguaje natural mediante aprendizaje por conjuntos es la vía más efectiva para la predicción de emociones multidimensionales.