QuadAI at SemEval-2026 Task 3: Ensemble Learning of Hybrid RoBERTa and LLMs for Dimensional Aspect-Based Sentiment Analysis

O artigo apresenta o sistema QuadAI para a tarefa SemEval-2026, que utiliza aprendizado de conjunto para combinar um codificador híbrido RoBERTa com grandes modelos de linguagem (LLMs), alcançando melhor desempenho na análise de sentimento dimensional baseada em aspectos através da integração de representações contínuas e discretas.

O essencial

Imagine que você é um chef de cozinha tentando entender exatamente como um cliente está se sentindo ao provar um prato. O cliente não diz apenas "gostei" ou "não gostei". Ele pode estar feliz (positivo) mas calmo (baixa intensidade), ou furioso (negativo) e extremamente agitado (alta intensidade).

O artigo que você leu descreve como uma equipe de pesquisadores (a "QuadAI") criou um "super chef" de inteligência artificial para entender esses sentimentos complexos em textos, como avaliações de laptops e restaurantes. Eles participaram de uma competição mundial chamada SemEval-2026.

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. O Problema: Sentimentos não são apenas "Bom" ou "Ruim"

A tarefa deles era medir dois sentimentos ao mesmo tempo:

• Valência: É o "gosto" do prato (Positivo ou Negativo).
• Arousal (Excitação): É a "intensidade" da reação (Calmo vs. Agitado).

Pense em um termômetro de emoção. O objetivo era prever a temperatura exata desse termômetro, não apenas dizer se está "quente" ou "frio".

2. A Solução: Uma "Orquestra" de Inteligências

Em vez de confiar em apenas um modelo de computador, eles criaram uma equipe (um ensemble) com dois tipos de especialistas diferentes trabalhando juntos.

Especialista A: O "Analista Rápido e Preciso" (Hybrid RoBERTa)

Imagine um analista de dados muito experiente que olha para o texto e faz duas coisas ao mesmo tempo:

1. Cálculo Contínuo: Ele tenta adivinhar o número exato no termômetro (como um engenheiro calculando a temperatura).
2. Classificação por Faixas: Ele também joga o texto em "caixas" (bins). Em vez de dizer "é 7,3", ele diz "está entre 7 e 8".

A Mágica: Eles pegam a resposta do cálculo exato e a resposta da "caixa", e tiram a média das duas.

• Analogia: É como pedir a um matemático para calcular a raiz quadrada e, ao mesmo tempo, pedir para um estimador experiente chutar o valor. Se você tirar a média dos dois, o resultado tende a ser mais estável e menos propenso a erros bobos.

Especialista B: O "Leitor de Contexto" (LLMs - Grandes Modelos de Linguagem)

Este é o especialista que "lê" o texto como um humano, entendendo nuances, ironia e contexto. Eles usaram modelos como o Gemini e o GPT.

• Limpeza de Dados: Antes de usar esses "leitores", eles usaram um filtro inteligente para jogar fora exemplos ruins ou confusos (como quando um cliente escreve algo que não faz sentido). Eles pediram a três "juízes" (diferentes IAs) para concordar se um exemplo era estranho antes de descartá-lo.
• Aprendizado por Exemplo: Eles ensinaram esses modelos mostrando exemplos parecidos com o que estavam tentando resolver (como mostrar fotos de gatos para ensinar o que é um gato).

3. O Grande Trunfo: A Reunião de Consenso (Ensemble Learning)

Aqui está o segredo do sucesso deles. Em vez de deixar o "Analista Rápido" ou o "Leitor de Contexto" decidir sozinhos, eles fizeram uma reunião final.

• Eles pegaram a opinião do Analista (RoBERTa).
• Eles pegaram a opinião do Leitor (LLM).
• Eles usaram um algoritmo de "mesclagem" (como um maestro) para combinar essas duas opiniões em uma única resposta final.

O Resultado:
Funciona como se você tivesse um consultor financeiro (que é bom em números) e um psicólogo (que é bom em entender o comportamento). Juntos, eles tomam uma decisão muito melhor do que qualquer um deles sozinho. O sistema deles conseguiu prever os sentimentos com muito mais precisão do que qualquer modelo individual.

4. O Que Aconteceu na Competição?

• O Desempenho: Na fase de testes (onde eles podem ajustar o sistema), a combinação dos dois especialistas foi incrível, reduzindo drasticamente os erros.
• A Limitação: Devido a imprevistos de tempo, eles só conseguiram enviar para a competição oficial a versão do "Analista Rápido" (RoBERTa), sem a ajuda do "Leitor" (LLM) e sem a reunião final.
• O Resultado Final: Mesmo sem a equipe completa, o "Analista Rápido" sozinho ficou muito bem colocado (entre os melhores 30 times), superando a média geral.

Resumo em uma frase

A equipe criou um sistema que mistura a precisão matemática de um modelo tradicional com a compreensão humana de uma inteligência avançada, e depois usa uma "média inteligente" para chegar à resposta mais precisa possível sobre como as pessoas se sentem em relação a produtos e serviços.

O que eles farão no futuro?
Eles querem refinar essa "reunião de consenso" com mais especialistas e testar se o sistema funciona em outros idiomas (como chinês), não apenas em inglês. Eles também pretendem liberar todo o código para que outros cientistas possam aprender e melhorar ainda mais.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "QuadAI at SemEval-2026 Task 3: Ensemble Learning of Hybrid RoBERTa and LLMs for Dimensional Aspect-Based Sentiment Analysis", apresentado em português:

1. Problema e Contexto

O artigo aborda a tarefa de Análise de Sentimento Baseada em Aspectos Dimensional (DimABSA), especificamente a pista "DimASR - Valence-Arousal (VA) Prediction" da competição SemEval-2026. Diferente da classificação de sentimentos tradicional (positivo/negativo), esta tarefa exige a previsão de dois valores contínuos:

• Valência (Valence): Indica a positividade ou negatividade da emoção.
• Arousal: Indica a intensidade emocional (de alta para baixa).

O desafio reside na modelagem precisa dessas dimensões contínuas, lidando com escassez de dados, complexidade nas relações entre aspectos e opiniões, e a necessidade de estabilidade na previsão.

2. Metodologia Proposta

A equipe QuadAI propôs uma abordagem híbrida que combina modelos de codificadores (encoders) pré-treinados e Grandes Modelos de Linguagem (LLMs) através de aprendizado de conjunto (ensemble learning).

A. Codificador Híbrido (Hybrid RoBERTa)

O núcleo do sistema é um modelo baseado em RoBERTa que utiliza uma arquitetura de cabeças duplas para melhorar a estabilidade:

1. Cabeça de Regressão: Prediz diretamente o valor contínuo da emoção.
2. Cabeça de Classificação Discretizada: O espaço contínuo de saída é dividido em $n$ "bins" (intervalos). O modelo prediz a probabilidade de cada bin e calcula o valor esperado.
3. Fusão: A previsão final é a média ponderada ($w=0.5$) das saídas da regressão e da classificação esperada.
   • Vantagem: A discretização oferece uma representação de confiança mais estável durante o treinamento, enquanto a regressão mantém a precisão contínua.

B. Modelos de Linguagem (LLMs) e In-Context Learning

Os autores exploraram o uso de LLMs (Gemini, Claude, GPT-5.2) com In-Context Learning (ICL).

• Seleção de Exemplos: Em vez de exemplos aleatórios, utilizaram similaridade semântica (baseada em embeddings de sentenças) para selecionar exemplos de treinamento que sejam semanticamente próximos ao texto de teste.
• Limpeza de Dados (Data Cleaning): Implementaram um processo de filtragem onde três LLMs analisam clusters de dados (agrupados por Valência e Arousal via HDB-Scan) para identificar e remover outliers ou exemplos com rótulos inconsistentes antes do uso no prompt.

C. Aprendizado de Conjunto (Ensemble Learning)

Para combinar as previsões do modelo híbrido (RoBERTa) e dos LLMs, utilizaram técnicas de fusão no nível da previsão (prediction-level fusion):

• Média Simples e Ponderada: Combinação direta das saídas.
• Empilhamento com Ridge (Ridge Stacking): Um modelo de regressão ridge é treinado para combinar as previsões dos modelos base e características externas (como scores de polaridade do léxico VADER).
• Prevenção de Vazamento: Utilizaram previsões "out-of-fold" (OOF) para treinar o empilhador, evitando vazamento de rótulos.

3. Contribuições Principais

• Arquitetura Híbrida Estável: Demonstração de que combinar regressão e classificação discretizada em um único encoder (RoBERTa) reduz a variância e melhora a estabilidade em tarefas de regressão dimensional.
• Pipeline de Limpeza para LLMs: Um método inovador usando múltiplos LLMs e clustering para filtrar dados de treinamento de baixa qualidade para in-context learning, melhorando a robustez dos prompts.
• Fusão de Abordagens: Evidência empírica de que a combinação de modelos baseados em codificadores (eficientes e precisos em padrões locais) com LLMs (capazes de raciocínio contextual) supera significativamente os modelos individuais.
• Recursos Abertos: Disponibilização do código e recursos para a comunidade científica.

4. Resultados Experimentais

Os resultados foram avaliados no conjunto de desenvolvimento (Dev Set) para os domínios "Laptop" e "Restaurant".

• Desempenho do Modelo Híbrido:
  • No conjunto de dados de Laptops, o modelo híbrido reduziu o MSE (Erro Quadrático Médio) para 0.5419 e o RMSE para 0.7361, superando tanto a regressão pura quanto a classificação por bins isoladamente.
  • No conjunto de dados de Restaurantes, a melhoria foi ainda mais drástica: o MSE do modelo híbrido caiu pela metade em comparação à regressão pura (0.4919 vs 0.8176), com RMSE de 0.7013.
• Desempenho dos LLMs:
  • Os LLMs (com ICL e dados limpos) alcançaram um RMSE de 0.695 no conjunto de Laptops, superando o modelo híbrido individual (0.7361) e elevando a correlação média de Pearson para 0.757.
• Desempenho do Ensemble:
  • A combinação dos modelos (Ensemble) produziu os melhores resultados. O empilhamento com Ridge e média ponderada atingiu um RMSE de 0.6344 no conjunto de Laptops.
  • A adição de características do VADER não melhorou os resultados, sugerindo que os modelos neurais e LLMs já capturam essas informações de forma superior.
• Ranking na Competição (Submissão Parcial):
  • Devido a circunstâncias imprevistas, a equipe submeteu apenas o modelo híbrido (sem ensemble/LLMs) para a pista A.1.
  • Mesmo assim, o modelo ficou em 16º lugar (Laptops) e 22º lugar (Restaurantes) entre 30-33 equipes, superando significativamente a linha de base e equipes de baixo ranking, demonstrando alta eficiência custo-benefício.

5. Significado e Conclusão

O trabalho demonstra que a abordagem de aprendizado de conjunto é crucial para tarefas complexas de análise de sentimentos dimensionais. A combinação de:

1. Estabilidade fornecida pela discretização em modelos encoder (RoBERTa);
2. Capacidade de generalização e raciocínio dos LLMs;
3. Fusão robusta via empilhamento;

...resulta em ganhos substanciais de desempenho (redução significativa de RMSE e aumento de correlação).

Limitações e Futuro:
O estudo foi limitado ao conjunto de desenvolvimento devido a restrições de tempo para submissão final. Os autores planejam validar a generalização em conjuntos de teste reais e expandir o trabalho para outros idiomas (como chinês) e outras pistas da tarefa (extração de triplas e quádruplas).

Em suma, o QuadAI estabeleceu um novo estado da arte preliminar para a tarefa, provando que arquiteturas híbridas e o uso estratégico de LLMs são caminhos promissores para a análise de sentimentos de alta precisão.