Multiperspectivity as a Resource for Narrative Similarity Prediction

Resumen Técnico: Multiperspectividad como Recurso para la Predicción de Similitud Narrativa

1. Problema y Contexto

La tarea de predecir la similitud narrativa se entiende tradicionalmente como un proceso interpretativo donde diferentes lecturas válidas de un mismo texto pueden generar juicios de similitud divergentes. Esto plantea un desafío fundamental para las métricas de evaluación semántica (benchmarks), que suelen codificar una única "verdad fundamental" (ground truth), ignorando la pluralidad interpretativa inherente a las ciencias interpretativas.

El artículo aborda la SemEval-2026 Task 4, una tarea formalizada para predecir qué historia candidata es más similar a una historia ancla. Los autores argumentan que la multiperspectividad no debe tratarse como un artefacto de ruido a eliminar, sino como un componente de modelado que debe integrarse en el proceso de toma de decisiones de los sistemas predictivos.

2. Metodología

Los autores proponen un enfoque basado en ensembles de LLM (Grandes Modelos de Lenguaje) con roles de personalidad (personas) para capturar diversas perspectivas interpretativas.

• Construcción del Ensemble:

  • Se creó un conjunto de 31 personas LLM divididas en dos categorías:
    • Practicantes [P]: Personajes con marcos analíticos explícitos (ej. Crítico Literario, Narratólogo Computacional, Teórico Crítico, Feminista, Postcolonial).
    • Personas Laicas [L]: Personajes intuitivos y cotidianos (ej. Estudiante de secundaria, Jugador de fútbol, Taxista).
  • Se utilizaron tres modelos de lenguaje de diferentes familias para cada persona: Gemma 27B-it, Qwen3-14B y gpt-oss-20b.
  • Total de predicciones: 93 combinaciones (31 personas × 3 modelos).

• Configuraciones de Votación:

  1. Predicción Individual: Una sola persona en un solo modelo.
  2. Votación Mayoritaria Específica por Modelo: Las 31 personas de un mismo modelo votan.
  3. Votación Mayoritaria Cruzada (Cross-model): Todas las 93 predicciones se combinan en una sola votación mayoritaria.

• Análisis de Errores y Diversidad:

  • Se aplicó el Teorema del Jurado de Condorcet (aunque con independencia debilitada) para hipotetizar que la agregación de perspectivas diversas mejora la precisión.
  • Se realizó un análisis de correlación de errores y tasas de "doble fallo" (double-fault) entre grupos.
  • Se identificó vocabulario distintivo (mediante lift) asociado a interpretaciones de género/feministas y se correlacionó con la precisión de la votación.

3. Resultados Clave

• Rendimiento del Ensemble:

  • El sistema logró un 70.5% de precisión en el conjunto de prueba, clasificándose en el puesto 13 de 47 equipos en SemEval-2026 Task 4.
  • La precisión aumenta con el tamaño del ensemble, siguiendo dinámicas similares al Teorema del Jurado de Condorcet, incluso bajo independencia debilitada.
  • La votación mayoritaria cruzada superó consistentemente a las predicciones individuales (75.8% vs. 67.7% máximo individual).

• Diversidad vs. Precisión Individual:

  • Paradoja de las Personas [P]: Las personas "Practicantes" (con marcos teóricos) tuvieron un rendimiento individual más bajo que las personas "Laicas" [L] (71.0% vs 71.7%).
  • Beneficio Colectivo: Sin embargo, los errores de las personas [P] estaban menos correlacionados (r = 0.388) que los de las personas [L] (r = 0.461). Esto significa que las personas [P] fallan de manera más diversa, lo que resulta en una mayor ganancia por ensemble bajo votación mayoritaria.
  • Un subconjunto optimizado de 8 personas (seleccionado por búsqueda exhaustiva) no superó significativamente a la votación mayoritaria simple en el conjunto de prueba (0.705 vs 0.7025), sugiriendo que la agregación amplia es más robusta que la selección de subconjuntos pequeños para tareas interpretativas.

• Correlación Negativa con Vocabulario de Género:

  • Se descubrió una asociación negativa consistente entre el uso de vocabulario distintivo de interpretaciones de género/feministas (ej. "roles de género", "protagonista femenina", "patriarcado") y la precisión.
  • Cuando las personas (incluso las no feministas) utilizaban estos términos, su precisión caía significativamente (ej. precisión del 56.5% con la palabra "female" vs. 66.6% sin ella).
  • Esto sugiere que estas interpretaciones, aunque válidas desde una perspectiva crítica, no se alinean con los juicios de similitud codificados en la ground truth del benchmark, o que el benchmark carece de representatividad para estas perspectivas.

4. Contribuciones Principales

1. Reencuadre de la Multiperspectividad: Propone tratar la diversidad interpretativa no como un obstáculo para la evaluación, sino como un recurso para mejorar la predicción mediante ensembles.
2. Validación Empírica de la Diversidad de Errores: Demuestra que en tareas de interpretación, los modelos con menor precisión individual pero mayor diversidad de errores (personas [P]) pueden generar mejores resultados colectivos que modelos más precisos pero homogéneos.
3. Análisis Crítico de Benchmarks: Identifica una posible brecha en los benchmarks actuales de NLP, donde las interpretaciones válidas basadas en género o teoría crítica pueden ser penalizadas por métricas de precisión estándar, señalando la necesidad de marcos de evaluación que admitan la pluralidad interpretativa.
4. Arquitectura de Sistema: Presenta un pipeline robusto que combina múltiples modelos y roles de personalidad para tareas de similitud narrativa, superando a enfoques de un solo modelo.

5. Significado e Implicaciones

El estudio tiene implicaciones profundas para el futuro de la evaluación en PLN (Procesamiento del Lenguaje Natural) en tareas interpretativas:

• Más allá de la "Verdad Única": Sugiere que para tareas donde el significado es dependiente de la perspectiva, los sistemas de evaluación deben evolucionar para aceptar múltiples respuestas válidas o utilizar ensembles diversos como estándar de referencia.
• Robustez vs. Optimización: La investigación indica que para tareas complejas e interpretativas, la agregación de una amplia gama de perspectivas es más robusta que intentar optimizar un subconjunto pequeño de "mejores" modelos o personas.
• Sesgo en la Evaluación: La correlación negativa con el vocabulario feminista pone de manifiesto que los benchmarks actuales pueden estar sesgados hacia ciertas formas de lectura (intuitivas o estructurales) y penalizar otras (críticas o sociológicas), lo que requiere una revisión crítica de cómo se construyen los datos de entrenamiento y prueba en el futuro.

En conclusión, el artículo demuestra que la diversidad interpretativa es un activo computacional clave y que los sistemas de IA deben diseñarse para aprovechar, en lugar de suprimir, la multiplicidad de lecturas humanas.