📊 statistics

Token-Level Likelihood-Array Regression for Membership Inference and AI-Generated Text Detection

Este artículo propone la Regresión de Matriz de Verosimilitud (LAR, por sus siglas en inglés), un método novedoso que organiza las probabilidades a nivel de token a través de ventanas de contexto anidadas en matrices estructuradas para mejorar significamente la inferencia de membresía y la detección de texto generado por IA al capturar información matizada sobre la escala del contexto y la posición del token que los modelos de referencia tradicionales basados en verosimilitud omiten.

Autores originales: Jiajun Sun, Zhanrui Cai

Publicado 2026-08-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jiajun Sun, Zhanrui Cai

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En la era digital, los modelos de lenguaje se han vuelto tan expertos en imitar la escritura humana que distinguir entre una oración escrita por una persona y una generada por una máquina se ha vuelto cada vez más difícil. Este desafío se sitúa en el corazón de dos preguntas críticas que enfrentan los investigadores y la sociedad actual. La primera es una cuestión de privacidad y derechos de autor: ¿podemos saber si una pieza específica de texto fue utilizada para entrenar a un modelo en primer lugar? Esto es vital para los editores y autores que desean saber si su trabajo fue ingerido por la inteligencia artificial sin permiso. La segunda pregunta es sobre el origen: ¿fue un texto dado creado por un humano o por un algoritmo? Esta distinción es esencial para mantener la confianza en el periodismo, el trabajo académico y el discurso en línea. Para responder a estas preguntas, los científicos han dependido durante mucho tiempo de un método que observa qué tan probable es que un modelo prediga la siguiente palabra en una oración. Si un modelo tiene mucha confianza sobre la siguiente palabra, sugiere que el texto podría serle familiar o generado por él. Sin embargo, los métodos tradicionales han tratado esta confianza como un número único y estático, ignorando a menudo cómo la certeza del modelo cambia a medida que lee más o menos del entorno de la oración.

Un nuevo estudio de los investigadores Jiajun Sun y Zhanrui Cai propone una forma más matizada de observar estos datos, tratando la confianza de un modelo de lenguaje no como un punto único, sino como un paisaje rico y estructurado. En lugar de pedirle al modelo que juzgue una palabra basándose en la oración completa que la precede, los investigadores le pidieron al modelo que juzgara la misma palabra repetidamente, cada vez con una cantidad diferente de contexto. Comenzaron solo con la palabra inmediatamente anterior, luego añadieron una más, luego dos, y así sucesivamente, hasta llegar a la oración completa. Este proceso creó un mapa detallado de cómo cambia la confianza del modelo a medida que crece la cantidad de información disponible. Al organizar estos miles de puntuaciones de confianza en una matriz estructurada, los investigadores pudieron ver patrones que eran invisibles cuando se observaba la oración completa por sí sola. Luego utilizaron una técnica estadística para aprender qué partes de este mapa —ya fueran contextos cortos, contextos largos o posiciones específicas en el texto— eran los indicadores más fiables de si un texto fue escrito por un humano, generado por una máquina o formaba parte de los datos de entrenamiento del modelo.

Los resultados de este enfoque fueron sorprendentemente efectivos. Al realizar pruebas en la inferencia de membresía, que pregunta si un texto fue utilizado para entrenar un modelo, el nuevo método logró una tasa de éxito de entre el 91,4% y el 98,3% en cinco modelos de lenguaje diferentes. Esto supuso una mejora significativa respecto a los métodos existentes, que típicamente oscilaban entre el 50% y el 87%. Para la detección de texto generado por IA, el método funcionó aún mejor, alcanzando tasas de éxito de entre el 98,5% y el 99,6%. El estudio reveló que la información más valiosa provenía a menudo de los contextos más cortos. Contrario a la suposición de que un modelo necesita la oración completa para emitir un juicio, los investigadores descubrieron que la reacción del modelo ante una palabra basada en solo unas pocas palabras precedentes contenía señales únicas que la visión de la oración completa pasaba por alto. Además, el estudio demostró que, para la inferencia de membresía, observar cómo cambiaba la confianza del modelo entre diferentes longitudes de contexto proporcionaba pistas adicionales, permitiendo al sistema detectar patrones sutiles de repetición o memorización que los métodos más simples pasaban por alto.

Los investigadores también exploraron cuántos datos se necesitaban para que estas detecciones fueran precisas. Encontraron que, incluso con un número muy pequeño de ejemplos etiquetados, el nuevo método superaba a los enfoques tradicionales. Con tan solo cien textos etiquetados, el sistema ya podía distinguir entre la escritura humana y la de las máquinas con una alta fiabilidad, y su precisión continuaba aumentando a medida que se añadían más datos. Esto sugiere que el método es eficiente y no requiere conjuntos de datos masivos para ser efectivo. El estudio también demostró que el enfoque funciona bien incluso cuando el modelo utilizado para analizar el texto es diferente del modelo que lo generó. Este es un hallazgo crucial, ya que significa que la técnica puede aplicarse ampliamente sin necesidad de conocer la identidad exacta de la IA que creó el contenido.

Al alejarse de los resúmenes de un solo número y abrazar la complejidad total de cómo un modelo de lenguaje procesa el contexto, esta investigación ofrece una nueva y poderosa herramienta para auditar la inteligencia artificial. Confirma que el camino para comprender el comportamiento de la IA no reside en simplificar los datos, sino en organizarlos de una manera que respete su estructura. El trabajo proporciona un camino claro y basado en datos para proteger la propiedad intelectual y verificar la autenticidad del texto en una era donde la línea entre la creación humana y la de las máquinas es cada vez más difusa. Los hallazgos sugieren que, al prestar atención a los cambios sutiles en la confianza de un modelo mientras lee, podemos descubrir las huellas ocultas tanto de los datos de entrenamiento como del proceso de generación, ofreciendo una defensa robusta contra el mal uso y una visión más clara del panorama digital.

Resumen Técnico: Regresión de Arreglo de Verosimilitud a Nivel de Token para la Inferencia de Membresía y la Detección de Texto Generado por IA

Planteamiento del Problema
El artículo aborda dos tareas de auditoría críticas para los modelos de lenguaje: la inferencia de membresía (determinar si un texto formó parte de los datos de entrenamiento de un modelo) y la detección de texto generado por IA (distinguir el texto generado por modelos del escrito por humanos). Aunque ambas tareas pueden enmarcarse como problemas de clasificación binaria basados en probabilidades condicionales de tokens, los métodos actuales basados en la verosimilitud sufren una pérdida significativa de información. Los enfoques actuales suelen comprimir las probabilidades a nivel de token en unos pocos resúmenes escalares (por ejemplo, pérdida promedio, Min-K%, o perplejidad), apoyándose frecuentemente únicamente en las probabilidades condicionadas por el contexto completo precedente ( $\ell_{full}(t)$ ). Esta agregación descarta la variación conjunta de la información de verosimilitud a través de diferentes longitudes de contexto y posiciones de los tokens. Además, los detectores supervisados entrenados en corpus etiquetados suelen requerir un ajuste fino extensivo y datos etiquetados adicionales para adaptarse a nuevos modelos o dominios. Los autores plantean la pregunta estadística de cómo representar y modelar la información de verosimilitud que varía conjuntamente con la longitud del contexto y la posición del token sin imponer supuestos estructurales rígidos.

Metodología: Regresión de Arreglo de Verosimilitud (LAR)
Los autores proponen el Arreglo de Regresión de Verosimilitud a Nivel de Token (LAR), un marco que trata las probabilidades condicionales de los tokens de un modelo de puntuación fijo como un arreglo estructurado de longitud variable, en lugar de un resumen escalar.

Construcción del Arreglo de Verosimilitud:
- Para cada token objetivo $x_t$ en un texto, el modelo de puntuación evalúa la log-probabilidad bajo una secuencia de ventanas de contexto izquierdo anidadas, que van desde la secuencia precedente completa ( $x_1, \dots, x_{t-1}$ ) hasta un solo token ( $x_{t-1}$ ).
- Esto crea una "ruta de token objetivo" para cada token, registrando cómo cambia la evaluación del modelo a medida que la escala del contexto disminuye.
- Estas rutas forman un arreglo de verosimilitud triangular $L(X) = \{(s, t, \ell(s, t))\}$ , donde $s$ es el inicio del contexto y $t$ es el token objetivo.
Alineación e Ingeniería de Características:
- Para manejar longitudes de texto variables, los autores normalizan la escala del contexto ( $u$ ) y la posición relativa del token ( $v$ ) a un dominio común $[0, 1] \times [0, 1]$ .
- Las celdas se alinean mediante interpolación lineal en una cuadrícula fija de escalas de contexto.
- Cada celda alineada se aumenta con un vector de canales de 5 dimensiones $h$ $h$ :
  - Log-probabilidad del token observado ( $\ell$ ).
  - Contraste de contexto ( $\delta$ ): La razón logarítmica de la probabilidad del token con contexto versus sin contexto (BOS).
  - Log-probabilidad estandarizada ( $z$ ) y contraste de contexto estandarizado ( $z_\delta$ ): Normalizados contra la distribución del vocabulario predictivo del modelo.
  - Pendiente local ( $\dot{z}$ ): La tasa de cambio en la predictibilidad estandarizada a medida que el contexto aumenta.
Modelos de Regresión:
- LAR-1 (Primer Orden): Modela el log-odds de la clase como una agregación aditiva de contribuciones de celdas alineadas individuales. Aprende una función $b(u, v, h)$ que mapea la escala de contexto, la posición y las características hacia el log-odds, aprendiendo efectivamente cómo los patrones de verosimilitud contribuyen de manera diferente dependiendo de su ubicación en el documento y la longitud del contexto.
- LAR-2 (Segundo Orden): Aumenta LAR-1 con características cuadráticas dentro de la ruta. Captura interacciones entre pares de evaluaciones del mismo token objetivo a través de diferentes longitudes de contexto. Esto permite al modelo detectar cómo el cambio en la verosimilitud (por ejemplo, una verosimilitud baja bajo un contexto corto que aumenta bajo un contexto largo) informa la etiqueta.
Estimación:
- Los modelos funcionales de dimensión infinita se aproximan mediante expansiones de bases finitas (productos tensoriales de splines para contexto/posición y funciones trigonométricas aleatorias para los canales).
- Los términos de segundo orden se estiman utilizando proyecciones cuadráticas aleatorias para reducir la dimensionalidad preservando la estructura dentro de la ruta.
- Los estimadores finales se ajustan mediante regresión logística de ridge sobre características a nivel de documento derivadas de estas expansiones.

Contribuciones Clave

Representación Novedosa: El artículo introduce la representación de arreglo de verosimilitud, que preserva la variación conjunta de las verosimilitudes a través de escalas de contexto y posiciones de tokens, yendo más allá de los resúmenes escalares utilizados en trabajos previos.
Límites Teóricos: Para el modelo cuadrático dentro de la ruta (LAR-2), los autores establecen límites de predicción minimax inferior y superior coincidentes de la tasa $\{\log(en)/n\}^{\nu/(\nu+1)}$ bajo una caída de covarianza de forma de producto. Caracterizan los errores que surgen de la aproximación de dimensión finita y las proyecciones aleatorias, mostrando las condiciones bajo las cuales un tamiz espectral oráculo alcanza la tasa minimax.
Superioridad Empírica: Se demuestra que el marco supera sustancialmente a los baselines de verosimilitud existentes y a los detectores supervisados en múltiples modelos de puntuación y dominios.
Información sobre Fuentes de Información: El análisis revela que las verosimilitudes de contexto más corto contienen información significativa más allá de las probabilidades de contexto completo convencionales y que las características de segundo orden proporcionan ganancias sustanciales específicamente para la inferencia de membresía.

Resultados
Los autores evaluaron LAR en dos benchmarks:

WikiMIA (Inferencia de Membresía): Utilizando 1,650 textos y cinco modelos de puntuación (Pythia, LLaMA-2, Falcon).
- LAR-1 logró AUCs medios de 0.914–0.960.
- LAR-2 mejoró esto a 0.953–0.983, superando significativamente al mejor baseline existente (ReCaLL, AUC máx 0.871) y a un método supervisado con ajuste fino (Fine-tuned Score Deviation, AUC máx 0.90).
- Las celdas de contexto más corto por sí solas arrojaron AUCs de ~0.907, comparado con ~0.802 para las celdas de contexto completo únicamente.
Detección de Texto Generado por IA: Utilizando 1,200 textos de cuatro dominios (ficción, noticias, ensayos, reseñas) generados por GPT-4o y puntuados por cinco modelos de pesos abiertos.
- LAR-1 logró AUCs medios de 0.985–0.996.
- LAR-2 logró 0.987–0.995.
- Estos resultados superaron a todos los baselines, incluyendo el detector supervisado StatDetectLLM (AUC 0.980) y RADAR (AUC 0.839).
- En esta tarea, la ganancia de las características de segundo orden fue mínima, lo que sugiere que los patrones funcionales de primer orden capturan la mayor parte de la señal de separación.

Significancia y Reivindicaciones
El artículo afirma que LAR proporciona una solución estadísticamente fundamentada a la "pregunta estadística más amplia" de cómo representar la información de verosimilitud que varía con el contexto y la posición. Al evitar la agregación de datos a nivel de token en puntajes preespecificados, LAR extrae señales más ricas, particularmente de las ventanas de contexto más cortas que a menudo se ignoran. Teóricamente, el trabajo proporciona el primer análisis minimax para esta clase específica de modelos cuadráticos dentro de la ruta, vinculando el error de predicción con la convergencia del AUC. Prácticamente, el método ofrece una alternativa robusta y sin necesidad de ajuste fino a los detectores supervisados, requiriendo solo un modelo de puntuación fijo y un conjunto de datos etiquetados para la etapa de regresión, logrando al mismo tiempo un rendimiento de vanguardia tanto en auditoría de privacidad como en detección de IA. Los autores señalan que, aunque el método es computacionalmente más exigente que la puntuación de contexto completo, las ganancias de rendimiento justifican el costo, y el trabajo futuro podría explorar la selección adaptativa de la ventana de contexto para reducir la carga computacional.

Más como este