LaMSUM: Amplifying Voices Against Harassment through LLM Guided Extractive Summarization of User Incident Reports

1. Planteamiento del Problema

Las plataformas de denuncia ciudadana (como Safe City o SHe-Box) recopilan grandes volúmenes de informes sobre acoso sexual, violencia doméstica y otros delitos. El desafío principal es la imposibilidad de revisar manualmente cada caso debido al volumen masivo de datos.

Existen dos tipos de limitaciones críticas para la automatización de este proceso:

• Necesidad de Resumen Extractivo vs. Abstractivo: Para estos casos sensibles, es crucial preservar las palabras exactas de la víctima para mantener la autenticidad y el contexto legal. Los algoritmos de resumen abstractivo (que parafrasean) son menos adecuados que los extractivos (que seleccionan frases originales). Sin embargo, los Modelos de Lenguaje Grande (LLMs) tienden a generar resúmenes abstractivos por defecto, incluso cuando se les instruye lo contrario.
• Limitación de la Ventana de Contexto: Los LLMs tienen un tamaño de ventana de contexto finito (ej. 8k o 128k tokens), lo que impide procesar colecciones masivas de texto (decenas de miles de tokens) en una sola entrada.
• Sesgo Posicional: Los LLMs sufren de un "sesgo posicional", donde tienden a seleccionar oraciones del principio o del final del texto, ignorando contenido relevante en el medio.
• Multilingüismo y Código Mixto: Muchas plataformas operan en regiones donde los usuarios escriben en formas de código mixto (ej. Hinglish en India), lo que limita la eficacia de los algoritmos tradicionales entrenados principalmente en inglés.

2. Metodología: El Framework LaMSUM

El artículo propone LaMSUM (Large Language Model based Extractive SUMmarization), un marco de trabajo novedoso que combina la potencia de los LLMs con algoritmos de votación de la Teoría de la Elección Social para generar resúmenes extractivos robustos.

La metodología se divide en tres componentes principales:

A. Resumen Multi-Nivel (Multi-Level Summarization)

Para superar la limitación de la ventana de contexto, el conjunto de textos $T$ se divide en fragmentos (chunks) más pequeños.

1. Nivel 0: El conjunto original se divide en $N$ fragmentos de tamaño $s$.
2. Resumen Parcial: Cada fragmento se resume individualmente usando un LLM, generando un sub-resumen de tamaño $q$.
3. Iteración: Estos sub-resúmenes se fusionan para formar la entrada del siguiente nivel (Nivel 1). Este proceso se repite iterativamente hasta obtener un resumen final de tamaño $k$.
4. Estrategia de Seguridad: Se establece $q = k$ (el tamaño del resumen final) para asegurar que, en el peor de los casos, todos los elementos del resumen final puedan provenir de un solo fragmento original sin perder información.

B. Mitigación del Sesgo Posicional y Calibración

Para cada fragmento de entrada:

• Aleatorización (Shuffling): Se crean $m$ variaciones del mismo fragmento reordenando las oraciones. Esto asegura que cada unidad de texto tenga la oportunidad de aparecer en diferentes posiciones, neutralizando el sesgo posicional del LLM.
• Prompting Zero-Shot: Se solicitan $m$ resúmenes (uno por variación) al LLM.
• Calibración de Salida: Se verifica que las oraciones seleccionadas sean un subconjunto exacto del texto original. Si el LLM alucina o modifica palabras, se utiliza la distancia de edición y la coincidencia de palabras clave (sustantivos, verbos, adjetivos) para mapear la salida generada a la oración original más similar en el texto fuente.

C. Algoritmos de Votación (Reimaginando el Resumen como una Elección)

En lugar de tomar simplemente el promedio o la primera salida, el sistema trata el proceso de selección como una elección de múltiples ganadores:

• Las $m$ variaciones de resumen actúan como "votantes".
• Las oraciones/candidatos son las unidades de texto.
• Se emplean tres métodos de votación para seleccionar las $q$ oraciones ganadoras:
  1. Votación Pluralitaria (Plurality): Cuenta cuántas veces una oración aparece en los resúmenes.
  2. Votación de Aprobación Proporcional (Proportional Approval Voting - PAV): Considera la satisfacción del votante y aplica rendimientos decrecientes. Si una oración ya ha sido seleccionada, su contribución a la satisfacción disminuye, lo que fomenta la diversidad y evita la redundancia.
  3. Votación de Elección Ordenada (Ranked Choice / Borda Count): Asigna puntos basados en la posición de la oración en la lista de preferencias del LLM.

3. Contribuciones Clave

1. Primera implementación de resumen extractivo a gran escala con LLMs: Es uno de los primeros trabajos que logra extraer resúmenes de grandes colecciones de texto (más de 30k tokens) utilizando LLMs, superando sus limitaciones nativas de generación abstractiva y ventana de contexto.
2. Marco LaMSUM: Propone una arquitectura multi-nivel que integra algoritmos de votación social para combinar las salidas de los LLMs, logrando resúmenes más robustos y precisos.
3. Superación del Sesgo Posicional: Demuestra que la combinación de shuffling y votación mitiga eficazmente la tendencia de los LLMs a ignorar contenido central.
4. Aplicación Social Crítica: Aplica estas técnicas a un dominio de alto impacto (denuncias de acoso sexual), proporcionando a las autoridades una visión general accionable para la toma de decisiones y políticas de seguridad.

4. Resultados Experimentales

Los experimentos se realizaron en un conjunto de datos real de cinco ciudades de la India, con más de 3,700 posts de denuncias, cubriendo categorías como acoso, robo, violencia doméstica, etc.

• Modelos Evaluados: Se probaron cuatro LLMs: Llama-3.1-8B, Mistral-Nemo, Claude-3-Haiku y GPT-4o-mini.
• Comparativa: LaMSUM se comparó contra modelos clásicos (LexRank, SummBasic, LSA), modelos basados en transformadores (BERT, XLNet) y el modelo ajustado BERTSUM.
• Métricas: Se utilizó ROUGE-1, ROUGE-2 y ROUGE-Lsum.
• Hallazgos Principales:
  • Rendimiento Superior: LaMSUM superó consistentemente a todos los modelos de estado del arte (SOTA) en todas las métricas y conjuntos de datos. La combinación óptima fue Claude-3-Haiku con Votación de Aprobación Proporcional (PAV).
  • Efectividad de la Votación: El uso de votación (especialmente PAV) mejoró significativamente los resultados en comparación con un enfoque "Vanilla" (LLM sin votación ni shuffling).
  • Diversidad y Calidad: Los resúmenes generados por LaMSUM seleccionaron oraciones con mayor longitud (más descriptivas) y mayor diversidad de categorías de acoso en comparación con los baselines.
  • Análisis de Ablación: Se determinó que $m=3$ (3 variaciones) y tamaño de fragmento $s=100$ ofrecían el mejor equilibrio entre costo computacional y rendimiento.

5. Significado e Impacto

• Avance Técnico: Este trabajo demuestra que es posible forzar a los LLMs a realizar tareas extractivas puras mediante ingeniería de prompts y algoritmos de agregación, abriendo nuevas vías para el uso de LLMs en tareas donde la fidelidad al texto original es crítica (legal, médico, periodístico).
• Impacto Social: Proporciona una herramienta escalable para que las autoridades y organizaciones de la sociedad civil puedan procesar grandes volúmenes de denuncias de acoso, identificando patrones, zonas calientes y tipos de violencia emergentes sin perder la voz original de las víctimas.
• Consideraciones Éticas: El artículo reconoce los riesgos de los LLMs (alucinaciones, sesgos de entrenamiento) y la necesidad de supervisión humana, advirtiendo que el sistema es una herramienta de apoyo para la toma de decisiones, no un reemplazo total de la investigación humana.

En conclusión, LaMSUM representa un paso significativo hacia la democratización del análisis de datos sensibles a gran escala, combinando la inteligencia contextual de los LLMs con la robustez estadística de la teoría de la elección social.