Language-Specific Sentiment Polarity Biases in Encoder and Large Language Model Classification of Product Reviews

Resumen Técnico: Sesgos de Polaridad de Sentimiento Específicos por Idioma en la Clasificación de Reseñas de Productos mediante Codificadores y Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
Aunque los sistemas de análisis de sentimiento se despliegan ampliamente para la minería de opinión multilingüe, su fiabilidad suele asumirse como constante a través de las clases de sentimiento (positivo vs. negativo). Sin embargo, investigaciones previas sugieren que los modelos pueden exhibir sesgos de polaridad: diferencias sistemáticas en la precisión entre las clasificaciones positivas y negativas. La naturaleza específica de estos sesgos sigue sin estar clara respecto a cómo interactúan con diferentes arquitecturas de modelos (solo codificador vs. Modelos de Lenguaje de Gran Escala basados en decodificadores) y distintos contextos lingüísticos/culturales. Este estudio investiga si la precisión de la clasificación de sentimiento difiere significativamente entre las reseñas positivas y negativas, y si estos sesgos son específicos tanto de la arquitectura del modelo como del idioma objetivo, particularmente en idiomas tipológicamente distintos como el francés y el japonés.

Metodología
El estudio utilizó el Corpus de Reseñas Multilingües de Amazon, extrayendo un conjunto de datos equilibrado de 500 reseñas por idioma (250 positivas, 250 negativas) para el francés y el japonés.

Se evaluaron cuatro modelos:

1. Modelo de Codificador: mDeBERTa-v3 (un codificador multilingüe ajustado mediante fine-tuning en MultiNLI y XNLI), utilizando un enfoque de Inferencia de Lenguaje Natural (NLI) de cero disparos (zero-shot) donde las reseñas se evaluaban frente a plantillas de hipótesis ("El sentimiento es positivo/negativo").
2. Modelos de Lenguaje de Gran Escala (LLMs): Claude Opus 4.6, GPT-5.4 y Gemini 3.1 Pro, instados a clasificar el sentimiento con una respuesta de una sola palabra.

Análisis y Métricas:

• Pruebas Estadísticas: Se utilizaron pruebas de chi-cuadrado de independencia (con la corrección de continuidad de Yates) para determinar si las diferencias de precisión entre las clases positiva y negativa eran estadísticamente significativas dentro de cada par modelo-idioma.
• Tamaño del Efecto: Se calculó la V de Cramér para medir la magnitud de la asociación.
• Análisis de Errores: Se analizaron las matrices de confusión para distinguir entre Falsos Negativos (reseñas positivas clasificadas erróneamente como negativas) y Falsos Positivos (reseñas negativas clasificadas erróneamente como positivas).
• Revisión Cualitativa: Las reseñas mal clasificadas se analizaron manualmente para identificar las características lingüísticas (por ejemplo, crítica indirecta, marcadores de sentimiento mixto) que contribuyeron a los errores.
• Potencial de Ensamble: Se calculó el acuerdo inter-modelo y el solapamiento de errores para evaluar la viabilidad de combinar arquitecturas.

Resultos Clave
El estudio confirmó que los sesgos de polaridad de sentimiento son tanto específicos de la arquitectura como del idioma:

• Resultados en Francés (Sesgo Negativo en LLMs):

  • Los tres LLMs exhibieron un sesgo negativo estadísticamente significativo, clasificando las reseñas negativas con mayor precisión (99.2%) que las positivas (91.6%–94.4%).
  • El análisis de errores reveló que los LLMs eran entre 7 y 10 veces más propensos a clasificar erróneamente reseñas positivas como negativas (Falsos Negativos), debido frecuentemente a la sobreponderación de marcadores negativos explícitos (por ejemplo, "mais", "problème") en reseñas de sentimiento mixto.
  • mDeBERTa no mostró un sesgo significativo en francés, desempeñándose de manera equitativa en ambas clases (~92%).

• Resultados en Japonés (Sesgo Positivo en el Codificador):

  • mDeBERTa exhibió un sesgo positivo estadísticamente significativo, logrando un 92.4% de precisión en reseñas positivas frente a un 84.4% en las negativas.
  • El modelo de codificador tuvo dificultades con la crítica indirecta común en la comunicación de alto contexto japonesa (por ejemplo, suavizar la retroalimentación negativa con un encuadre positivo), lo que condujo a una alta tasa de Falsos Positivos (39 frente a 19).
  • Por el contrario, los LLMs no mostraron un sesgo significativo en japonés, manteniendo una precisión equilibrada (~95–97%) en ambas clases. Lograron procesar el sentimiento negativo implícito que el codificador omitió.

• Hallazgos del Ensambles:

  • Los LLMs mostraron un alto acuerdo (98.2%–98.5%) en las clasificaciones correctas, pero un bajo solapamiento de errores con mDeBERTa (23.7%–24.7%).
  • Esto sugiere que las arquitecturas fallan en tipos de reseñas diferentes, lo que implica que un enfoque de ensamble (por ejemplo, stacking o enrutamiento) podría lograr una precisión mayor (98.0%) que cualquier modelo individual.

Significancia y Reivindicaciones
El artículo sostiene que confiar únicamente en la precisión global es insuficiente para el despliegue de sistemas de sentimiento multilingües. Los hallazgos demuestran que:

1. El Sesgo Depende del Contexto: Los sesgos de polaridad no son inherentes únicamente a la arquitectura del modelo, sino que emergen de la interacción entre la arquitectura y los estilos de comunicación específicos de cada idioma (por ejemplo, la directidad en el francés frente a la indirectidad en el japonés).
2. Compromisos Arquitectónicos: Los modelos de codificador (mDeBERTa) pueden tener dificultades con las expresiones negativas indirectas y de alto contexto, mientras que los LLM pueden reaccionar excesivamente a los marcadores negativos explícitos en contextos de sentimiento mixto.
3. Implicaciones Prácticas: Desplegar un solo tipo de modelo globalmente puede introducir errores sistemáticos. Por ejemplo, usar solo LLMs para el análisis en francés podría subestimar el sentimiento positivo entre un 5 y un 8 por ciento, mientras que usar solo mDeBERTa para el japonés podría perder una parte significativa de las quejas de los clientes.
4. Recomendación: Los autores abogan por evaluar los sistemas de sentimiento basándose en la precisión por clase de sentimiento en lugar de la precisión agregada, y sugieren que los métodos de ensamble que aprovechan los patrones de error complementarios de los codificadores y los LLM podrían mitigar estos sesgos.

Limitaciones Reconocidas
Los autores señalan que el estudio se limita a dos idiomas (francés y japonés) y al dominio de las reseñas de productos. Advierten que los patrones pueden diferir en otros idiomas (particularmente otros idiomas asiáticos de alto contexto) o dominios (redes sociales, noticias). Además, el análisis de error cualitativo fue exploratorio y careció de una evaluación formal de la fiabilidad inter-evaluador.