AILS-NTUA at SemEval-2026 Task 10: Agentic LLMs for Psycholinguistic Marker Extraction and Conspiracy Endorsement Detection

Este artículo presenta un pipeline de LLMs agénticos novedoso para la tarea 10 de SemEval-2026 que, mediante la arquitectura DD-CoT y un sistema de "Anti-Cámara de Eco", logra resultados superiores en la extracción de marcadores psicolingüísticos de conspiración y la detección de su respaldo, estableciendo un paradigma interpretable y fundamentado en la psicolingüística.

Lo esencial

¡Hola! Imagina que este paper es la historia de un equipo de detectives muy inteligente (llamado AILS-NTUA) que participó en una competencia mundial para enseñar a las Inteligencias Artificiales (IA) a distinguir entre quien cuenta una historia y quien cree esa historia.

El reto era detectar teorías de conspiración en internet (como en Reddit), pero no solo decir "esto es una conspiración", sino entender por qué y encontrar las pistas exactas en el texto.

Aquí te explico cómo lo hicieron, usando analogías sencillas:

1. El Problema: La Trampa del Periodista

Imagina que lees un titular de noticias: "El periódico dice que el gobierno ocultó pruebas".

• Una IA tonta podría pensar: "¡Ah! Hay palabras como 'gobierno' y 'ocultar', ¡esto es una conspiración!". Y marcaría el texto como "creyente".
• La realidad: El periódico solo está informando sobre lo que otros dicen. No cree en la conspiración, solo la reporta.

A esto los autores lo llaman la "Trampa del Reportero". La mayoría de las IAs se confunden y castigan a los periodistas honestos.

2. La Solución: Un Equipo de Detectives (Agentes)

En lugar de usar una sola IA que lo hace todo (como un solitario), crearon un sistema de agentes (un equipo) que trabaja como un tribunal o un consejo de expertos. Dividieron el trabajo en dos fases:

Fase 1: El Cazador de Pistas (Extracción de Marcadores)

El objetivo aquí es encontrar las "palabras clave" psicológicas en el texto (quién hizo qué, a quién dañaron, qué pruebas usan).

• El problema: Las IAs suelen ser buenas razonando, pero malas contando letras exactas (a veces inventan palabras que no existen).
• La solución (DD-CoT): Imagina un detective que no solo dice "¡Encontré al culpable!", sino que tiene que escribir un informe explicando: "Creo que es el culpable porque... PERO, espera, ¿podría ser la víctima? No, porque...".
  • Esta técnica se llama Cadena de Pensamiento Discriminativa Dinámica. Obliga a la IA a pensar en contra-argumentos para no equivocarse.
  • Luego, un Verificador Automático (como un buscador de texto exacto) confirma que la frase que la IA encontró existe realmente en el documento, letra por letra. ¡Así evitan las alucinaciones!

Fase 2: El Consejo Anti-Cámara de Eco (Detección de Creencia)

Aquí es donde se decide si el texto apoya la conspiración o solo la menciona.

• La Cámara de Eco: Normalmente, si una IA piensa algo, tiende a reforzarlo y no cuestionarlo.
• El Consejo (Anti-Echo Chamber): Crearon un tribunal con 4 roles distintos que debaten entre sí sin verse las caras:
  1. El Fiscal: Busca pruebas de que el autor cree en la conspiración.
  2. El Abogado Defensor: Busca excusas para decir que el autor no cree (ej. "es solo una broma", "está citando a otros", "es sarcasmo").
  3. El Literalista: Solo lee lo que está escrito, sin suposiciones.
  4. El Perfilador: Analiza el tono y el estilo (¿está gritando? ¿usa palabras de "despertad"?).
• El Juez Calibrado: Al final, un Juez escucha a los cuatro. Si hay duda, el Juez aplica una regla de "inocente hasta que se demuestre lo contrario". Si el Fiscal y el Defensor están empatados, el Juez suele inclinarse por decir que NO es una conspiración (para evitar falsos positivos).

3. Los Resultados: ¡Ganaron la Batalla!

Gracias a este sistema de equipo:

• En la detección de pistas: Mejoraron un 100% respecto a una IA normal. Pasaron de encontrar muy pocas pistas a encontrar el doble.
• En la detección de creencias: Mejoraron un 49%. Lograron distinguir perfectamente entre un periodista reportando y un loco creyente.
• Ranking: Quedaron en el 3º lugar en la fase de desarrollo y muy cerca del 1º lugar en la prueba final.

En Resumen

Imagina que antes tenías a un solo guardia de seguridad que a veces se dormía o confundía a los turistas con ladrones.
Este equipo construyó una estación de policía completa:

1. Unos detectives que buscan huellas exactas.
2. Un juez que obliga a los detectives a pensar en contra-argumentos.
3. Un tribunal donde un fiscal y un abogado pelean para ver si realmente hay culpa.
4. Un juez final que decide con calma.

El resultado fue un sistema mucho más inteligente, justo y capaz de entender los matices del lenguaje humano, evitando castigar a quienes simplemente cuentan historias sin creerlas. ¡Una victoria para la inteligencia artificial que piensa antes de actuar!

Resumen técnico

Resumen Técnico: AILS-NTUA en SemEval-2026 Task 10

1. El Problema

La detección de teorías de conspiración y la extracción de sus marcadores lingüísticos presentan desafíos únicos que los clasificadores tradicionales no pueden resolver eficazmente:

• Ambigüedad Semántica vs. Localización Estructural: Los modelos de lenguaje grandes (LLM) suelen confundir el razonamiento semántico con la localización exacta de caracteres, lo que lleva a "alucinaciones" en los límites de las frases extraídas.
• La "Trampa del Reportero" (Reporter Trap): Los sistemas de detección tienden a clasificar erróneamente textos que informan sobre teorías de conspiración (ej. noticias que citan teorías falsas) como endorsement (aprobación) de las mismas.
• Complejidad Psicolingüística: Las conspiraciones no se definen solo por palabras clave, sino por estructuras narrativas sutiles que involucran agentes, acciones, efectos y víctimas, a menudo enmarcadas en un contexto de incertidumbre o amenaza.

El objetivo de la tarea (SemEval-2026 Task 10) es doble:

1. S1 (Extracción): Identificar y localizar caracteres exactos de marcadores psicolingüísticos (Actor, Acción, Efecto, Víctima, Evidencia).
2. S2 (Detección): Determinar si un comentario de Reddit endosa una teoría de conspiración o simplemente la reporta/analiza.

2. Metodología: Un Pipeline Agente Desacoplado

El equipo propone un flujo de trabajo basado en agentes LLM que desacopla el razonamiento semántico de las operaciones deterministas. La arquitectura se divide en dos subtasas principales:

A. Subtarea 1: Extracción de Marcadores (DD-CoT)
Para resolver la ambigüedad y la fragilidad en la localización de caracteres, proponen Dynamic Discriminative Chain-of-Thought (DD-CoT):

• Razonamiento Discriminativo: A diferencia del CoT estándar, el generador debe no solo justificar una etiqueta, sino también generar un contraargumento explícito contra las etiquetas confusas (ej. ¿Por qué es "Actor" y no "Víctima"?). Esto fuerza al modelo a definir fronteras semánticas claras.
• Bucle de Auto-Refinamiento (Self-Refine): Un ciclo de cuatro nodos: Generador $\rightarrow$ Crítico (audita veracidad y límites) $\rightarrow$ Refinador (aplica ediciones mínimas) $\rightarrow$ Verificador Determinista.
• Anclaje Determinista: El LLM genera la cadena de texto, pero un verificador no-LLM calcula los índices de caracteres (startIndex, endIndex) mediante coincidencia exacta y algoritmos de emparejamiento (Levenshtein, SequenceMatcher), eliminando errores de índice "off-by-one".

B. Subtarea 2: Detección de Conspiración (Anti-Echo Chamber)
Para combatir la "Trampa del Reportero", utilizan una arquitectura de Consejo Paralelo Adversarial:

• Perfilador Forense: Un nodo determinista calcula métricas lingüísticas previas (densidad de atribución, intensidad emocional, patrones de "Just Asking Questions" - JAQing) para alertar sobre posibles sesgos.
• Consejo de Jurados (4 Personas): Cuatro agentes independientes analizan el mismo documento sin verse entre sí:
  1. Fiscal: Busca evidencia de endoso.
  2. Defensa: Busca evidencia de reporte neutral, sátira o desmentido.
  3. Literalista: Verifica la implicación literal y la carga de la prueba.
  4. Perfilador de Postura: Analiza señales de certeza y dinámica de grupo.
• Juez Calibrado: Un agente final que agrega los votos con reglas conservadoras. Si hay ambigüedad o señales forenses contradictorias, el sistema tiende a "No" (no endoso) para minimizar falsos positivos.

C. Recuperación Contrastiva (Few-Shot Retrieval)
El sistema recupera ejemplos de contexto (few-shot) que no son solo similares, sino discriminativos:

• Para S1: Muestra ejemplos positivos y negativos equilibrados, priorizando marcadores subrepresentados.
• Para S2: Extrae "Negativos Difíciles" (hard negatives): textos que contienen vocabulario de conspiración pero que no endosan la teoría (ej. noticias que desmienten). Esto entrena al modelo a distinguir el tema del stance (postura).

3. Contribuciones Clave

1. Primera metodología agente LLM para la extracción de marcadores psicolingüísticos y detección de endoso de conspiraciones.
2. DD-CoT: Un marco que fuerza la discriminación semántica mediante contraargumentación explícita para resolver ambigüedades (ej. Actor vs. Víctima).
3. Arquitectura Híbrida: Separación estricta entre el razonamiento del LLM (qué extraer) y la localización determinista (dónde está), logrando precisión a nivel de carácter.
4. Anti-Echo Chamber: Un sistema de consejo adversarial que supera la "Trampa del Reportero" mediante la deliberación independiente y la agregación calibrada.
5. Optimización de Prompts (GEPA): Uso de un algoritmo evolutivo para refinar los prompts de los agentes, mejorando significativamente el rendimiento sobre las bases manuales.

4. Resultados

El sistema demostró mejoras sustanciales sobre la línea base (un clasificador zero-shot de GPT-5.2 sin estructura de agentes):

• Subtarea 1 (Extracción):

  • Macro F1: 0.24 (vs. 0.12 de la línea base).
  • Mejora: +100% relativo.
  • Ranking: 3º en el conjunto de desarrollo.
  • Análisis: La mejora se debió principalmente a la capacidad de DD-CoT para disambiguar roles semánticos (ej. identificar correctamente al "Actor" en construcciones pasivas).

• Subtarea 2 (Detección):

  • Macro F1: 0.79 (vs. 0.53 de la línea base).
  • Mejora: +49% relativo.
  • Ranking: 13º en desarrollo, 24º en prueba.
  • Análisis: La arquitectura de Consejo redujo la tasa de falsos positivos en un 50% (de 0.160 a 0.080) al distinguir eficazmente entre reporte y endoso.

• Eficiencia y Portabilidad:

  • El sistema funcionó bien en modelos de pesos abiertos (Qwen-3-8B) con una arquitectura simplificada, logrando resultados competitivos, lo que demuestra la transferibilidad del enfoque agente.
  • El costo computacional es alto (latencia aumentó de ~4.6s a ~29s por documento debido al paralelismo), pero es constante y predecible.

5. Significado y Limitaciones

• Significado: El trabajo establece un nuevo paradigma para la NLP psicolingüística, demostrando que la ingeniería de flujos de trabajo agentic puede superar la complejidad de la tarea sin necesidad de entrenar modelos masivos desde cero o usar datos adicionales. La separación de la lógica semántica y la localización determinista es una lección clave para tareas de extracción de información.
• Limitaciones:
  • El sistema aún lucha con la ironía de alto contexto y el sarcasmo (Ley de Poe), donde la postura implícita es difícil de detectar sin contexto de hilo o historial de usuario.
  • No se realizó fine-tuning en los datos de la tarea, dependiendo únicamente de la ingeniería de prompts y la orquestación de agentes.
  • La latencia es un factor limitante para aplicaciones en tiempo real debido a la naturaleza paralela y recursiva del proceso.

En conclusión, el enfoque de AILS-NTUA valida que la deliberación estructurada multi-agente, combinada con verificación determinista y recuperación contrastiva, es una vía superior para abordar tareas de detección de desinformación complejas y matizadas.