💬 NLP

Evidence Absence Is Not Evidence Insufficiency: Diagnosing NEI Construction Artifacts in Fact Verification

Este artículo introduce NEI-CAP, un protocolo de diagnóstico que revela que los modelos de verificación de hechos a menudo no generalizan la competencia de "Información Insuficiente" a través de diferentes métodos de construcción de evidencia, ya que las puntuaciones agregadas pueden ocultar la dependencia subyacente de señales atajo y artefactos específicos de la construcción.

Autores originales: Jingxi Qiu, Zeyu Han, Cheng Huang

Publicado 2026-05-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jingxi Qiu, Zeyu Han, Cheng Huang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás contratando a un detective para resolver misterios. Tu objetivo es ver si pueden distinguir entre tres cosas:

El caso está resuelto (La evidencia respalda la afirmación).
El caso está descifrado (La evidencia refuta la afirmación).
No tenemos suficiente información aún (La etiqueta "NEI").

Este artículo argumenta que, aunque hemos estado probando a los detectives sobre qué tan bien resuelven casos, los hemos estado engañando en la prueba de "No tenemos suficiente información". Les hemos dado pistas que están tan obviamente ausentes que el detective no necesita ser inteligente para detectar el problema; solo necesita detectar el formato de la pista faltante.

Aquí está el desglose de los hallazgos del artículo usando analogías simples.

1. El Problema: El Truco de la "Caja Vacía"

En la verificación de hechos, cuando un modelo informático dice "No hay suficiente información" (NEI), significa que la evidencia proporcionada no es suficiente para probar o refutar una afirmación.

El artículo encontró que muchos conjuntos de datos (las pruebas de entrenamiento para estos modelos) crean ejemplos de "NEI" de una manera perezosa.

El Truco "Fácil": Le dan al modelo una afirmación como "La Gran Muralla está en Brasil" y luego le dan ninguna evidencia en absoluto (una caja vacía) o un fragmento de texto sobre pizza (totalmente irrelevante).
El Resultado: El modelo aprende un atajo. Piensa: "Oh, si no hay texto o el texto es sobre pizza, debería decir 'No hay suficiente información'". En realidad no está verificando si la evidencia es insuficiente; solo está verificando si la evidencia está ausente o es rara.

2. La Prueba Real: La "Caja Medio Llena"

El artículo introduce una nueva forma de probar llamada NEI-CAP. En lugar de solo darle al modelo una caja vacía, le dan una caja medio llena.

El Escenario: La afirmación es "La Gran Muralla está en Brasil". La evidencia proporcionada es un párrafo largo y detallado sobre la Gran Muralla, pero solo habla de su longitud y de dónde se encuentra en China. No menciona Brasil, pero claramente está relacionado con el tema.
El Desafío: Un detective inteligente debería darse cuenta: "Este texto es sobre la Gran Muralla, pero no me dice si está en Brasil. Necesito más información".
El Fracaso: El artículo encontró que los modelos entrenados con los trucos de "Caja Vacía" (el NEI fácil) fracasan completamente en esta prueba de "Caja Medio Llena". Miran el texto relacionado, ven que parece de apoyo (porque es sobre la Gran Muralla) y dicen con confianza: "¡Esto respalda la afirmación!" o "¡Esto la refuta!". Se pierden el hecho de que el detalle específico que necesitan está ausente.

3. La Metáfora de la "Construcción"

Los autores llaman a la forma en que se construyen estas pruebas "Familias de Construcción".

Construcción Fácil: Como construir un muro con cartón. Parece un muro, pero es frágil. Si entrenas a un modelo con muros de cartón, aprende a detectar cartón, no ladrillos reales.
Construcción Difícil: Como construir un muro con ladrillos reales pero dejando un agujero en el medio. El modelo necesita entender la estructura del muro para saber que está incompleto.

El artículo muestra que si entrenas a un modelo con "cartón" (evidencia fácil, irrelevante o vacía), obtiene una puntuación perfecta en la prueba. Pero en el momento en que cambias a "ladrillos reales con un agujero" (evidencia semánticamente relacionada pero insuficiente), el modelo colapsa. Obtiene cero.

4. La Ilusión de la "Puntuación Mágica"

Actualmente, cuando miramos el boletín de calificaciones de un modelo, vemos un gran número: "Puntuación NEI".

La Advertencia del Artículo: Este número es una mentira. Es como un estudiante que obtiene una "A" en un examen de matemáticas porque el profesor solo le pidió sumar ceros. Si le pides sumar fracciones, reprueba.
El artículo demuestra que un modelo puede tener una "Puntuación NEI" perfecta en pruebas fáciles pero ser completamente inútil en escenarios del mundo real donde la evidencia está relacionada pero incompleta. La "Puntuación Promedio" oculta el hecho de que el modelo solo está memorizando el formato de la prueba, no aprendiendo la habilidad.

5. La Solución: NEI-CAP

Los autores proponen un nuevo protocolo llamado NEI-CAP. Piensa en esto como una nueva forma de calificar al detective:

No des solo una puntuación: En su lugar, reporta cómo se construyó la prueba. ¿Usamos la "Caja Vacía" o la "Caja Medio Llena"?
Audita los trucos: Verifica si el modelo solo está detectando atajos (como "sin texto = NEI") o si realmente entiende el contenido.
Verificación Humana: Para las pruebas más difíciles, los humanos verifican que la evidencia sea realmente insuficiente, asegurando que el modelo no esté siendo engañado por datos ambiguos.

Resumen

El artículo concluye que la forma en que creamos las pruebas de "No hay suficiente información" determina lo que la IA aprende.

Si hacemos las pruebas demasiado fáciles (cajas vacías), la IA aprende a detectar la vacuidad, no la insuficiencia.
Si hacemos las pruebas difíciles (información relacionada pero incompleta), la IA realmente tiene que pensar.
Actualmente, la mayoría de los modelos de IA están "haciendo trampas" en las pruebas fáciles. Parecen inteligentes, pero fracasan cuando la evidencia es complicada. El artículo nos insta a dejar de escondernos detrás de puntuaciones promedio y comenzar a reportar exactamente qué tipo de "construcción de evidencia" se utilizó para probar el modelo.

Resumen Técnico: La Ausencia de Evidencia No Es Evidencia Insuficiente: Diagnóstico de Artefactos de Construcción NEI en la Verificación de Hechos

Declaración del Problema

Los sistemas de verificación de hechos clasifican típicamente las afirmaciones en tres categorías: SOPORTADO, REFUTADO o NO HAY SUFICIENTE INFORMACIÓN (NEI). La etiqueta NEI pretende indicar que el conjunto de evidencia disponible $E$ es insuficiente para establecer la verdad o falsedad de una afirmación $c$ . Sin embargo, el artículo argumenta que la operacionalización de la etiqueta NEI es una elección de diseño que varía significativamente entre los puntos de referencia (por ejemplo, FEVER, SciFact, HoVer) y a menudo se deja indefinida en los protocolos de evaluación.

El problema central identificado es que la "ausencia de evidencia" (por ejemplo, campos vacíos, pasajes no relacionados) es observacionalmente distinta de la "insuficiencia de evidencia" (por ejemplo, evidencia semánticamente relacionada pero incompleta). Los puntos de referencia actuales suelen confundir estas condiciones. En consecuencia, los modelos pueden aprender a reconocer artefactos de construcción específicos (como texto faltante, desajustes temáticos o sesgos posicionales) en lugar de aprender la capacidad pretendida de identificar la insuficiencia genuina de evidencia. Esto conduce a una situación donde las métricas agregadas de rendimiento NEI (como NEI-F1) pueden ser altas mientras el modelo falla completamente ante evidencia insuficiente semánticamente relacionada.

Metodología: NEI-CAP

Para abordar esto, los autores introducen NEI-CAP (Protocolo Consciente de la Construcción NEI), un marco de diagnóstico que trata la construcción de la evidencia NEI como una variable explícita en la evaluación.

1. Taxonomía de Construcción

NEI-CAP categoriza los ejemplos NEI en familias de construcción específicas basadas en cómo se generó la evidencia insuficiente. La taxonomía distingue entre:

Construcciones propensas a atajos: Ejemplos diseñados para exponer atajos de formato, tema o posición.
- Marcador de posición: Marcadores de evidencia fijos o vacíos.
- Irrelevante aleatorio: Evidencia de temas no relacionados.
- Sesgo posicional: Evidencia no racional de ubicaciones predecibles del documento.
Evidencia insuficiente semánticamente relacionada (NEI Difícil): Ejemplos donde la evidencia está relacionada temáticamente pero es lógicamente incompleta.
- Casi fallo BM25: Alta superposición léxica pero soporte insuficiente.
- Cita no racional: Evidencia de documentos citados que no es la razón real.
- Mismo documento no racional: Evidencia no racional del mismo documento fuente.
- Salto faltante: Evidencia de múltiples saltos con un hecho requerido eliminado.

2. Flujo de Trabajo de Diagnóstico

El protocolo sigue cinco etapas:

Construir: Asignar una familia de construcción ( $z$ ) y un ID de grupo ( $g$ ) a cada ejemplo. El modelo nunca se expone a $z$ ; se utiliza únicamente para auditoría e informes estratificados.
Auditar: Medir características de atajo (por ejemplo, longitud, superposición, cobertura) para identificar señales superficiales que los modelos podrían explotar.
Validar: Utilizar la adjudicación humana para separar el "candidato" NEI difícil de los ejemplos que en realidad están soportados, refutados o son ambiguos. Esto crea un subconjunto de "NEI difícil adjudicado por humanos".
Prueba de estrés: Evaluar modelos entrenados en familias de construcción específicas contra otras familias para probar la transferibilidad.
Informar: Publicar métricas estratificadas por familia de construcción en lugar de puntuaciones agregadas.

3. Configuración Experimental

El protocolo se instaura principalmente en SciFact (verificación de afirmaciones científicas), con FEVER y HoVer sirviendo como controles externos acotados.

Modelos: El verificador principal es DeBERTa-v3-base, con RoBERTa y SciBERT como columnas vertebrales secundarias.
Regímenes de Entrenamiento: Los modelos se entrenan en familias de construcción individuales (por ejemplo, solo marcadores de posición) o regímenes mixtos (mezclas fáciles, difíciles o equilibradas).
Evaluación: Utiliza matrices de cambio de construcción (entrenar en la Familia A, probar en la Familia B) y la recuperación de NEI difícil adjudicado por humanos.

Resultados Clave

1. Fallo de Transferencia del Entrenamiento Propenso a Atajos

Los modelos entrenados en construcciones NEI "fáciles" (por ejemplo, marcadores de posición) alcanzan un NEI-F1 perfecto en conjuntos de prueba coincidentes, pero colapsan a 0.000 NEI-F1 cuando se evalúan en construcciones "difíciles" (casi fallo BM25 o cita no racional).

Este fallo no es un artefacto de calibración; la masa de probabilidad se desplaza completamente a SOPORTADO o REFUTADO.
El colapso es estable a través de diferentes arquitecturas de modelos (DeBERTa, RoBERTa, SciBERT) y semillas aleatorias.

2. El NEI Difícil Adjudicado por Humanos Expone la Debilidad del Modelo

En el subconjunto de NEI difícil validado por humanos (54 ejemplos), los modelos entrenados en marcadores de posición o datos con sesgo posicional alcanzan una recuperación de 0.000. Predicen abrumadoramente SOPORTADO (falsos positivos) con alta confianza.

Incluso el entrenamiento "irrelevante aleatorio", que es menos extremo que los marcadores de posición, falla al generalizar a la insuficiencia difícil (recuperación de 0.216).
Solo los modelos entrenados en construcciones difíciles (BM25/citas) muestran una recuperación parcial, pero aún no logran una transferencia perfecta.

3. El Entrenamiento Mixto No Elimina la Sensibilidad a la Construcción

El entrenamiento en regímenes de construcción mixtos (combinando ejemplos fáciles y difíciles) mejora la recuperación de NEI difícil en comparación con el entrenamiento de una sola familia, pero no elimina la brecha de rendimiento.

Los modelos entrenados en mezclas "equilibradas" aún exhiben perfiles estratificados por construcción, desempeñándose significativamente mejor en condiciones fáciles que en condiciones difíciles.
Esto indica que el entrenamiento mixto es una prueba de estrés más fuerte, pero no un reemplazo para los informes conscientes de la construcción.

4. Impacto en las Etiquetas No NEI

Los diagnósticos de afirmaciones fijas revelan que la elección de la construcción NEI afecta la confianza del modelo en las etiquetas SOPORTADO y REFUTADO. Cuando la evidencia de referencia se intercambia por evidencia insuficiente, los modelos entrenados en NEI fácil no logran reducir su confianza en la etiqueta original, mientras que los modelos entrenados en NEI difícil muestran una caída de probabilidad. Esto sugiere que los artefactos de construcción afectan toda la tarea de tres vías, no solo la esquina NEI.

Contribuciones

Replanteamiento de NEI: El artículo replantea NEI no como una sola etiqueta negativa, sino como una condición de evidencia sensible a la construcción.
Protocolo NEI-CAP: Introduce un protocolo de diagnóstico que rastrea explícitamente las familias de construcción, audita características de atajo y valida casos difíciles mediante adjudicación humana.
Evidencia Empírica de Fallo: Demuestra a través de experimentos en SciFact, FEVER y HoVer que el entrenamiento propenso a atajos falla al transferirse a evidencia insuficiente semánticamente relacionada, y que las puntuaciones agregadas de NEI-F1 pueden ocultar estos fallos.

Significado y Afirmaciones

El artículo afirma que las puntuaciones agregadas de NEI-F1 son insuficientes para evaluar los sistemas de verificación de hechos porque pueden ocultar si un modelo ha aprendido a reconocer la insuficiencia genuina de evidencia o meramente los artefactos de cómo se construyeron los ejemplos NEI.

Alcance Modesto: Los autores declaran explícitamente que NEI-CAP es un protocolo de diagnóstico, no una solución completa al razonamiento sobre la insuficiencia de evidencia. Identifica la sensibilidad a la construcción y proporciona herramientas de auditoría, pero no garantiza un razonamiento de suficiencia de propósito general.
Disciplina de Informes: La contribución principal es un cambio en la disciplina de informes: cada resultado NEI debe ir acompañado de la familia de construcción que lo produjo.
Limitaciones: La evidencia más sólida se deriva de la verificación científica al estilo de SciFact. FEVER y HoVer se utilizan como controles acotados y no son puntos de referencia de NEI difícil validados por humanos en este contexto. El artículo reconoce que diferentes dominios pueden requerir familias de construcción adicionales y que la validación humana reduce, pero no elimina, los riesgos de validez de las etiquetas.

En conclusión, el artículo argumenta que la construcción de evidencia insuficiente debe tratarse como una parte fundamental del protocolo de evaluación, junto con las etiquetas y las métricas, para asegurar que los sistemas de verificación de hechos estén aprendiendo las capacidades pretendidas en lugar de atajos específicos del conjunto de datos.