A Multi-Model, Multi-Domain Benchmark of Large Language Model Agreement with Humans and with Each Other in Sentiment Classification
Este artículo presenta un punto de referencia multidominio que evalúa cinco modelos de lenguaje de gran tamaño, un léxico basado en reglas y un transformador supervisado frente a anotaciones humanas, revelando que si bien los modelos de primer nivel como Claude Opus 4.7 y GPT-5.5 logran una fuerte alineación con los humanos, persiste un desacuerdo significativo entre los modelos y con las etiquetas humanas —particularmente en textos informales—, demostrando que la selección del modelo impacta materialmente en los resultados de la clasificación de sentimientos.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo de las computadoras que leen y entienden el lenguaje, existe una tarea tan antigua como el propio internet: determinar si un fragmento de texto es alegre, triste o simplemente está exponiendo un hecho. Esto se llama análisis de sentimiento. Durante años, las personas han utilizado estas herramientas para tratar de adivinar cómo reaccionará la bolsa de valores ante un informe de noticias, para ver si los clientes están enojados con un producto o para rastrear el estado de ánimo público durante una crisis sanitaria. Recientemente, ha llegado una nueva generación de estos programas informáticos, conocidos como modelos de lenguaje extensos. Estos son el mismo tipo de sistemas que pueden escribir historias, responder preguntas y mantener conversaciones. Debido a que son tan buenos comprendiendo el lenguaje humano, muchas personas han comenzado a utilizarlos para realizar la tarea de clasificar texto por emoción, con la esperanza de reemplazar el lento y costoso trabajo de los revisores humanos con un solo comando de computadora.
Pero hay un problema con este nuevo enfoque. Así como diferentes personas podrían estar en desacuerdo sobre si la crítica de una película es sarcástica o sincera, estos diferentes programas informáticos también podrían no estar de acuerdo entre sí. Un programa podría calificar una oración como "positiva", mientras que otro podría calificar esa misma oración como "negativa". Si un banco o un hospital depende de estas herramientas para tomar decisiones importantes, importa profundamente cuál de ellas elija. Hasta ahora, nadie había comprobado sistemáticamente qué tan bien se ponen de acuerdo estos diferentes programas entre sí, o con qué frecuencia coinciden con jueces humanos, cuando todos observan el mismo texto.
Un investigador llamado Aneesh K Sajan decidió resolver esta cuestión realizando un experimento masivo y controlado. Reunió cinco de los modelos de lenguaje más avanzados disponibles actualmente de cuatro compañías tecnológicas diferentes, junto con dos herramientas más antiguas y simples que sirven como base de comparación. Les suministró un total de 8,872 oraciones extraídas de cinco conjuntos de datos diferentes. Estas oraciones procedían de una mezcla de fuentes: informes financieros formales, publicaciones informales en redes sociales, críticas de películas y llamadas de resultados trimestrales. El objetivo era ver si las computadoras podían identificar correctamente la emoción en el texto en comparación con cómo lo habían etiquetado los humanos y, lo que es más importante, ver qué tan seguido coincidían las computadoras entre sí.
Los resultados revelaron una clara división en el rendimiento. Dos modelos, uno de una empresa llamada Anthropic y otro de OpenAI, destacaron como los más precisos. Cuando estos dos analizaban texto financiero formal, coincidían con los juicios humanos casi a la perfección. También coincidieron entre sí en casi el 90 por ciento de las oraciones analizadas. Un tercer modelo de OpenAI quedó muy cerca, formando un grupo compacto de herramientas de alto rendimiento que generalmente veían el mundo de la misma manera. Sin embargo, un modelo de Google, que fue diseñado para "pensar" a través de los problemas antes de responder, tuvo un desempeño sorprendentemente malo. Erró el sentimiento con tanta frecuencia que sus resultados apenas eran mejores que el azar. El investigador probó una teoría específica para ver si este fallo se debía a que el modelo de Google pasaba demasiado tiempo pensando en preguntas simples, un fenómeno conocido como "sobrepensar". Obligó al modelo a responder con un tiempo de pensamiento mucho más corto, pero el mal desempeño persistió. Esto descartó la idea de que el modelo estuviera simplemente sobreanalizando la tarea; el fallo era inherente a cómo se comportaba ese modelo específico en esa configuración.
Otro modelo de código abierto, que puede ejecutarse en la propia computadora de un investigador en lugar de en un servidor en la nube, funcionó de manera moderada. No era tan preciso como los principales modelos comerciales, pero era significativamente mejor que las herramientas antiguas basadas en reglas que se habían utilizado durante años. El estudio también encontró que el tipo de texto importaba enormemente. Todos los modelos eran mucho mejores comprendiendo la escritura formal y profesional que la escritura casual e informal, como los tuits o los mensajes de texto. En el texto informal, incluso los mejores modelos descendieron a un nivel de acuerdo que era solo "moderado", lo que significa que todavía discrepaban con los humanos y entre sí en un gran número de oraciones.
Quizás el hallazgo más sorprendente fue lo poco que los modelos coincidían realmente entre sí. Cuando el investigador observó al grupo completo de seis herramientas, todas dieron la misma respuesta exacta en solo alrededor del 14 al 24 por ciento de las oraciones. En las oraciones restantes, no había una mayoría clara. Esto significa que para una gran parte del texto que la gente analiza cada día, el resultado final depende enteramente de qué programa de computadora esté utilizando. Si un analista financiero utiliza un modelo para leer un informe y otro analista utiliza un modelo diferente, podrían llegar a conclusiones opuestas sobre la misma noticia.
El estudio concluye que, si bien estas nuevas herramientas son poderosas, no son intercambiables. La elección del modelo no es un detalle técnico menor; es una decisión que cambia los datos mismos. Para tareas que involucran documentos financieros formales, los modelos principales son confiables y consistentes. Pero para el texto informal, o para tareas donde la diferencia entre lo positivo y lo negativo es sutil, el desacuerdo entre los modelos es una señal de incertidumbre genuina. En estos casos, el investigador sugiere que confiar en una sola computadora es arriesgado. En su lugar, el mejor enfoque es utilizar múltiples modelos juntos o tener a un humano que revise las oraciones donde las computadoras no coinciden, asegurando que la decisión final no sea solo un producto de qué software fue elegido.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.