Resumen Técnico: COMMUNITYFACT

Enunciado del Problema

La verificación de desinformación ocurre cada vez más en entornos en línea públicos, de rápida evolución y multilingües, donde los puntos de referencia estáticos no logran capturar la naturaleza dinámica de las afirmaciones, la evidencia y las narrativas. Los puntos de referencia de factualidad existentes a menudo dependen de instantáneas fijas, fuentes centralizadas y datos centrados en el inglés, lo que genera tres brechas críticas:

1. Cobertura: Subrepresentación de narrativas localizadas y específicas de las redes sociales en favor de verificadores de hechos profesionales y enciclopedias.
2. Granularidad: Las etiquetas a nivel de publicación a menudo colapsan múltiples afirmaciones de veracidad mixta en un solo veredicto, oscureciendo modos de fallo específicos.
3. Redistribución: Las publicaciones en redes sociales son efímeras debido a la eliminación, las restricciones de acceso y los derechos de autor, lo que dificulta compartir y reproducir los datos crudos.

Además, evaluar los Modelos de Lenguaje Grandes (LLM) con datos estáticos corre el riesgo de medir la memorización o la contaminación en lugar de capacidades genuinas de verificación, especialmente a medida que los LLM se despliegan cada vez más como sistemas de verificación públicos y ad hoc con acceso a la web.

Metodología

Los autores presentan COMMUNITYFACT, un punto de referencia dinámico, multilingüe y multidominio construido a partir de las Notas de la Comunidad de X (anteriormente Twitter). El sistema aprovecha el flujo continuo de afirmaciones del mundo real y el contexto correctivo validado por la comunidad proporcionado por las Notas de la Comunidad para construir un punto de referencia actualizable.

Pipeline de Construcción de Datos

El proceso de construcción implica un pipeline parametrizado diseñado para garantizar la compartibilidad y la verificabilidad del texto sin requerir publicaciones de redes sociales crudas:

1. Selección de Fuentes: El pipeline filtra el archivo público de Notas de la Comunidad (instantánea hasta el 27 de marzo de 2026) buscando notas marcadas como CURRENTLY_RATED_HELPFUL creadas en 2025.
2. Filtrado por Idioma y Dominio: Selecciona los cinco idiomas de notas no mediáticas más frecuentes (inglés, español, francés, japonés, portugués) y clasifica las notas en los dominios de Política y Finanzas utilizando GPT-5.5.
3. Extracción de Afirmaciones: Utilizando GPT-5.5 con un esfuerzo de razonamiento "medio", el sistema extrae afirmaciones factuales independientes y verificables de los pares Tweet–Nota. El prompt de extracción impone una "Fórmula de Cero Contexto", asegurando que las afirmaciones contengan todas las entidades, fechas y calificadores necesarios para ser verificadas sin acceso a la publicación o nota original. Se excluyen las afirmaciones dependientes de medios o metadatos de la plataforma.
4. Etiquetado: Las etiquetas se derivan directamente de la Nota de la Comunidad útil. Una afirmación se etiqueta como FALSA si la nota refuta o corrige una afirmación factual en la publicación, y como VERDADERA si la nota la respalda o aclara.
5. Auto-refinamiento: Un paso de auditoría secundario verifica la completitud independiente, la corrección de la etiqueta y la no duplicación.
6. División Temporal: Para prevenir la fuga de datos, los ejemplos se dividen temporalmente dentro de cada grupo de idioma-dominio, reservando los ejemplos más recientes para la prueba.

Estadísticas del Punto de Referencia

La versión de 2025 contiene 15,992 ejemplos independientes a nivel de afirmación:

• Idiomas: Inglés, español, francés, japonés, portugués.
• Dominios: Política, Finanzas.
• Distribución: 9,970 afirmaciones VERDADERAS y 6,022 afirmaciones FALSAS.
• Formato: Cada ejemplo incluye la afirmación, la marca de tiempo, el idioma, el dominio, la etiqueta y las URLs de evidencia citadas en la nota.

Configuración Experimental

Los autores evaluaron 10 LLM en cuatro configuraciones de inferencia:

1. Seguimiento de Instrucciones (Entrada Cerrada): Los modelos reciben solo la afirmación y la marca de tiempo (por ejemplo, Aya-Expanse, Ministral, EuroLLM).
2. Habilitado para Razonamiento: Los modelos se ejecutan con modos explícitos de "pensamiento" (por ejemplo, variantes de Qwen3).
3. Búsqueda Web (Sin Guía): Los modelos recuperan independientemente evidencia relevante para la marca de tiempo.
4. Búsqueda Web Guiada por Evidencia: Se proporcionan a los modelos las URLs citadas por la Nota de la Comunidad útil como pistas prioritarias, manteniendo al mismo tiempo el acceso a la búsqueda web general.

Las métricas de evaluación se centran en las puntuaciones macro-F1, informadas tanto en general como por cada segmento de idioma-dominio para evitar enmascarar variaciones sistemáticas.

Contribuciones Clave

1. Un Punto de Referencia Actualizable: COMMUNITYFACT es el primer punto de referencia diseñado para regenerarse automáticamente a partir de nuevas instantáneas de Notas de la Comunidad, abordando la obsolescencia de los conjuntos de datos existentes.
2. Afirmaciones Granulares y Compartibles: Al convertir pares Tweet–Nota en afirmaciones independientes con etiquetas fundamentadas en notas y URLs de evidencia, el punto de referencia permite un análisis fino sin redistribuir contenido crudo de redes sociales.
3. Análisis Multilingüe y Multidominio: El conjunto de datos cubre cinco idiomas y dos dominios de alto impacto, permitiendo la evaluación de la generalización cruzada entre idiomas y dominios.
4. Análisis de Selección de Fuentes: El punto de referencia facilita el estudio de cómo los LLM habilitados para la web seleccionan fuentes de evidencia en comparación con evaluadores humanos.

Resultados

Capacidades en Tiempo de Inferencia

• Limitaciones de Entrada Cerrada: La verificación con entrada cerrada sigue siendo difícil. Incluso el mejor modelo de seguimiento de instrucciones (Aya-Expanse-32B) logró un macro-F1 de 69.93, significativamente más bajo que los modelos habilitados para la web.
• Razonamiento sin Evidencia: Los modos explícitos de "pensamiento" no mejoraron universalmente el rendimiento; en algunos casos (por ejemplo, variantes de Qwen3, Gemini-2.5-Flash), el razonamiento sin evidencia externa degradó el rendimiento.
• Acceso Web: Los modelos habilitados para la web mostraron las mayores ganancias. Grok-4.3 logró la puntuación general más alta (83.80 macro-F1) con acceso web, superando a todos los modelos de entrada cerrada en cada segmento.

Búsqueda Guiada por Evidencia y Alineación de Fuentes

• Impacto de la Guía: Proporcionar URLs de evidencia de las Notas de la Comunidad mejoró significativamente el rendimiento para GPT-5-nano (+1.48 pp) y Grok-4.3 (+1.97 pp), pero no ayudó significativamente a Gemini-2.5-Flash (que en realidad disminuyó ligeramente).
• Desalineación de Fuentes: Los LLM habilitados para la web muestran una desalineación sistemática con las fuentes que los evaluadores humanos encuentran útiles.
  • Grok-4.3 y GPT-5-nano lograron realinear su recuperación hacia fuentes validadas por humanos (por ejemplo, dominios gubernamentales, noticias autorizadas) cuando fueron guiados, lo que llevó a ganancias de rendimiento.
  • Gemini-2.5-Flash no logró desplazar su ecosistema de fuentes hacia dominios preferidos por los humanos, dependiendo en cambio de puntos finales de búsqueda genéricos (por ejemplo, google.com, youtube.com), lo que resultó en ninguna ganancia de rendimiento.
• Eficiencia de Recuperación: Las ganancias fueron impulsadas por qué fuentes se consultaron, no meramente por la cantidad. GPT-5-nano expandió su recuperación dispersa para igualar la densidad de citas humanas, mientras que Grok-4.3 podó su recuperación excesivamente amplia para centrarse en fuentes de alta calidad.

Significado y Afirmaciones

El artículo posiciona a COMMUNITYFACT no solo como una herramienta de evaluación, sino como una señal de entrenamiento para sistemas futuros. Los autores argumentan que:

• Los puntos de referencia estáticos son insuficientes para medir la fiabilidad de los sistemas de verificación desplegados y habilitados para la web.
• El acceso web es crítico para la verificación factual, pero la calidad de la selección de fuentes es el diferenciador.
• Las Notas de la Comunidad proporcionan un flujo continuo y multilingüe de pares <afirmación, fuentes verificadas por humanos>. Esto sugiere una dirección futura para entrenar sugerentes de fuentes condicionados a afirmaciones: priores de recuperación ligeros que proponen fuentes alineadas con humanos para nuevas afirmaciones, cerrando la brecha entre las políticas de recuperación de los LLM y los estándares de verificación humana.

Los autores concluyen que, aunque las puntuaciones agregadas enmascaran una variación significativa a través de los segmentos de idioma y dominio, el punto de referencia revela que alinear las políticas de recuperación con fuentes validadas por humanos es un mecanismo clave para mejorar la detección de desinformación en el mundo real.