LLM-based Few-Shot Early Rumor Detection with Imitation Agent

Resumen Técnico: Detección Temprana de Rumores basada en LLM mediante un Agente de Imitación

1. Definición del Problema

La Detección Temprana de Rumores (EARD, por sus siglas en inglés) tiene como objetivo identificar el punto temporal más temprano posible en una secuencia de publicaciones en redes sociales donde una afirmación puede clasificarse con precisión como un rumor o un no-rumor. Esta tarea es crítica para mitigar el daño social de la desinformación, como se observó en eventos como los disturbios de Southport en 2024.

El artículo destaca dos desafíos primordiales en la investigación actual de EARD:

1. Escasez de Datos: Los nuevos eventos suelen carecer de suficientes datos de entrenamiento anotados, y la propagación en las etapas iniciales involucra un número limitado de publicaciones. Los métodos existentes suelen requerir una gran cantidad de datos etiquetados para el entrenamiento conjunto de los módulos de detección y de temporización.
2. Limitaciones de los Modelos de Lenguaje de Gran Escala (LLMs): Aunque los LLMs sobresalen en la comprensión de texto en entornos de pocos disparos (few-shot), no están diseñados intrínsecamente para datos de series temporales. Aplicar los LLMs directamente a EARD es computacionalmente costoso porque tendrían que generar predicciones en cada paso temporal a medida que la longitud del contexto aumenta, lo que conduce a una alta latencia y costo de inferencia.

El problema central abordado es cómo aprovechar las sólidas capacidades de comprensión de texto en entornos de pocos disparos de los LLMs para EARD en escenarios limitados de datos sin incurrir en costos computacionales prohibitivos o requerir un reentrenamiento extensivo.

2. Metodología

Los autores proponen un nuevo marco que desacopla la determinación del punto temporal temprano del proceso de detección de rumores. El sistema consta de dos componentes principales:

1. Un Agente Autónomo Ligero: Una red neuronal responsable de monitorear el flujo de publicaciones y decidir cuándo detener la observación y activar el LLM.
2. Un LLM Libre de Entrenamiento: Un Modelo de Lenguaje de Gran Escala preentrenado (por ejemplo, Mistral, Llama 3, ChatGPT) que actúa como el detector de rumores, activado una sola vez en el punto temporal determinado por el agente.

Formulación como un Proceso de Decisión de Markov (MDP):
La tarea de EARD se modela como un MDP $(S, A, P, R)$:

• Estado ($s_t$): El conjunto de publicaciones observadas hasta el tiempo $t$ y la acción anterior.
• Acción ($a_t$): Elección binaria: Continuar (0) para observar la siguiente publicación, o Detenerse (1) para activar el LLM para la predicción.
• Objetivo: Maximizar los retornos esperados que reflejen una detección temprana y precisa.

Estrategia de Aprendizaje por Imitación (IL):
Dado que diseñar una función de recompensa explícita para EARD es difícil (equilibrando precocidad, estabilidad y precisión), los autores emplean Aprendizaje por Imitación. En lugar de un aprendizaje por refuerzo con una recompensa diseñada a mano, el agente aprende de "trayectorias de expertos" generadas por el propio LLM.

Se curan tres tipos de trayectorias de expertos basadas en la secuencia de predicciones del LLM sobre la línea de tiempo completa de las publicaciones:

1. Experto Conservador (CE): Selecciona el punto temporal más temprano donde la predicción del LLM es correcta y permanece estable (sin cambios) en todos los pasos subsiguientes. Esto asegura la precisión y la estabilidad, pero puede ser demasiado cauteloso.
2. Experto de Acción Temprana (EAE): Selecciona el primer punto temporal donde la predicción del LLM coincide con la verdad fundamental (ground truth), independientemente de la estabilidad futura. Esto prioriza la precocidad.
3. Experto Engañoso (ME): Captura trayectorias donde el LLM realiza una predicción incorrecta incluso después de observar todas las publicaciones. El agente es entrenado para evitar las distribuciones de estado-acción de este experto.

Función Objetivo:
El agente se entrena utilizando Aprendizaje de Imitación Generativo Adversario (GAIL). El objetivo es minimizar la divergencia (Divergencia de Jensen-Shannon) entre la medida de ocupación del agente y las de los expertos CE y EAE, mientras se maximiza la divergencia respecto al ME.

• El agente aprende a sintetizar la estabilidad del CE y la proactividad del EAE.
• Aprende a desviarse de los comportamientos del ME para evitar terminaciones tempranas incorrectas.
• El entrenamiento involucra una Red de Política, una Red de Discriminador (para distinguir entre el agente y las trayectorias de los expertos) y una Red de Valor, optimizadas mediante Optimización de Política Próxima (PPO).

Inferencia:
Durante la inferencia, el agente entrenado monitorea el flujo de publicaciones. Una vez que decide "Detenerse", activa el LLM exactamente una vez para clasificar la afirmación basándose en las publicaciones observadas. Esto reduce drásticamente la frecuencia de inferencia del LLM en comparación con el prompting paso a paso.

3. Principales Contribuciones

El artículo reclama cuatro contribuciones principales:

1. Primer Método de EARD de Pocos Disparos: Introduce un marco que combina un agente entrenable ligero con un LLM libre de entrenamiento, ofreciendo una solución rentable para escenarios con datos limitados.
2. Nuevo MDP y Formulación de Imitación: Modela EARD como un MDP y diseña tres tipos específicos de trayectorias de expertos (CE, EAE, ME) para guiar al agente en el equilibrio de precocidad, estabilidad y precisión sin una ingeniería de recompensa explícita.
3. Garantía Teórica: Proporciona una prueba teórica de que el método propuesto conduce a una política óptima para la detección temprana, estable y precisa.
4. Superioridad Empírica: Demuestra, mediante extensos experimentos, que el enfoque supera a los métodos de EARD de full-shot existentes y a las estrategias base de LLM tanto en precisión (macro-F1) como en precocidad (Tasa Temprana/Early Rate).

4. Resultados Experimentales

El método fue evaluado en cuatro conjuntos de datos del mundo real: PHEME, TWITTER, Twitter-COVID-19 y BEARD.

• Rendimiento vs. Baselines: El marco propuesto superó significativamente a los métodos de EARD existentes (ERD, CED, HEARD) y a las estrategias directas de LLM (usando solo la primera publicación o puntos de control de tiempo preestablecidos).
  • En el conjunto de datos TWITTER, el marco permitió que Mistral lograra un macro-F1 de 0.630 con una Tasa Temprana (ER) de 0.043, mientras que el mejor baseline (CED) tuvo un ER de 0.617.
  • El método mostró mejoras consistentes en diferentes arquitecturas de LLM (Mistral, Llama 3, ChatGPT), con mejoras relativas de F1 que oscilan entre el 8.2% y el 18.9% sobre los LLM base.
• Robustez de Pocos Disparos: El método se mantuvo efectivo con tan solo 10 instancias de entrenamiento etiquetadas, logrando mejoras relativas de F1 de hasta un 27.64% sobre el LLM base.
• Generalización: Cuando se entrenó en conjuntos de datos previos al COVID (PHEME, TWITTER) y se probó en el conjunto de datos no visto Twitter-COVID-19, el método propuesto mantuvo un rendimiento superior en comparación con los baselines, que sufrieron caídas significativas de rendimiento (por ejemplo, una caída de F1 de hasta el 67.8% para ERD).
• Análisis de Compromiso (Trade-off): Los autores analizaron el compromiso entre precisión y precocidad variando las proporciones de las trayectorias de los expertos. Su método alcanzó puntos de Pareto-óptimos, ofreciendo mejor precisión con ERs más bajos que los baselines existentes.

5. Significado y Reivindicaciones

El artículo posiciona este trabajo como una solución al cuello de botella crítico de la escasez de datos en la detección de rumores.

• Eficiencia de Costos: Al desacoplar la decisión de temporización del modelo de detección, el enfoque permite el uso de potentes LLMs sin la carga computacional de la inferencia continua. Solo el agente ligero requiere entrenamiento.
• Adaptabilidad: El marco es agnóstico al modelo y puede integrarse con varios LLMs, lo que lo hace adaptable a la evolución de los modelos de lenguaje.
• Aplicabilidad en el Mundo Real: La capacidad de detectar rumores tempranamente con un mínimo de datos etiquetados aborda la necesidad práctica de una intervención rápida en eventos emergentes de desinformación donde no hay datos anotados disponibles.

Los autores concluyen que su enfoque de aprendizaje por imitación aprovecha eficazmente las fortalezas complementarias del control de tiempo proactivo (el agente) y