Resumen Técnico: Generación Automática de Subtítulos de Privacidad Precisos a partir de Código Fuente de Android utilizando Modelos de Lenguaje de Gran Tamaño

Planteamiento del Problema

Los avisos de privacidad de las aplicaciones son artefactos críticos que informan a los usuarios y reguladores sobre qué información personal recopila una aplicación, cómo se utiliza y por qué. Estos avisos suelen basarse en "subtítulos de privacidad" (privacy captions): frases concisas en lenguaje natural que describen estos comportamientos. Sin embargo, la creación de subtítulos precisos representa una carga significativa para los desarrolladores, particularmente para aquellos en equipos pequeños sin experiencia en privacidad. Las prácticas actuales, como el uso de generadores de políticas en línea, la copia de aplicaciones similares o la anotación manual de código, resultan frecuentemente en subtítulos que son inexactos, incompletos o inconsistentes con el comportamiento real de la aplicación. Esta discrepancia puede derivar en multas regulatorias y la eliminación de la aplicación.

Los enfoques automatizados existentes para generar avisos de privacidad sufren tres limitaciones principales:

1. Alta Carga para el Desarrollador: Muchas herramientas requieren una entrada manual extensiva, como la anotación del código fuente o la respuesta a cuestionarios detallados.
2. Contexto Limitado o Inexacto: Los métodos automatizados suelen depender de contextos de código fuente restringidos (por ejemplo, solo los primeros métodos de un grafo de llamadas) o de entradas potencialmente inexactas como las políticas de privacidad, que se sabe que a menudo representan erróneamente el comportamiento real de la aplicación.
3. Especificidad de Formato: Muchos enfoques generan formatos de aviso específicos (por ejemplo, políticas de privacidad de carácter legalista) que son difíciles de adaptar a otros formatos como justificaciones de permisos o descripciones en tiendas de aplicaciones.

Metodología: PCapGen

Los autores proponen PCapGen (Privacy Caption Generator), un marco diseñado para identificar automáticamente comportamientos de privacidad en el código fuente de Android y generar subtítulos de privacidad precisos, concisos y completos sin requerir la intervención del desarrollador. El marco consta de tres componentes principales:

1. Identificador: Análisis de Taint basado en Heurísticas

El componente Identificador tiene como objetivo rastrear el flujo de información personal (rutas de contaminación o taint paths) dentro de una aplicación.

• Desafío: Las herramientas tradicionales de análisis de taint (como FlowDroid) dependen de listas predefinidas de métodos "fuente" (source, entrada de datos) y "sumidero" (sink, salida de datos). Estas tienen dificultades para identificar rutas que involucran métodos sumidero desconocidos, los cuales son comunes en la lógica personalizada de las aplicaciones.
• Innovación: Los autores desarrollaron un enfoque novedoso basado en heurísticas. En lugar de depender únicamente de sumideros pre-listados, construyen un grafo de llamadas desde una API fuente conocida hasta una profundidad fija (determinada en seis niveles tras un análisis empírico de 50 aplicaciones). Todos los métodos dentro de esta profundidad se tratan como candidatos potenciales a sumidero. Luego, se ejecuta el análisis de taint para extraer rutas válidas.
• Alcance: Este enfoque se probó en 80 fuentes de API de no-ubicación no listadas (cubriendo WiFi, cuenta, red, cámara, almacenamiento y sensores). Identificó con éxito rutas de taint válidas para las APIs de WiFi, red y cuenta, aunque enfrentó limitaciones con las APIs de cámara y almacenamiento debido a callbacks asíncronos o flujos basados en componentes que no fueron capturados en el grafo de llamadas.

2. Extractor: Construcción de Contexto de Código Fuente

El Extractor convierte las rutas de taint identificadas en un contexto de código fuente legible por humanos adecuado para Modelos de Lenguaje de Gran Tamaño (LLMs).

• Descompilación: Utilizando la herramienta de ingeniería inversa Androguard, el sistema descompila los archivos APK para extraer el código fuente de las clases y métodos involucrados en las rutas de taint.
• Mapeo de Sentencias: Las rutas de taint se representan inicialmente en Jimple (un formato intermedio no legible por humanos). El Extractor utiliza un LLM (específicamente DeepSeek en la implementación final) con Aprendizaje en Contexto (ICL) para mapear estas sentencias de Jimple de vuelta a las líneas correspondientes en el código fuente extraído.
• Salida: Este proceso genera una vista de "grano grueso" (la estructura completa de la clase/método) y una vista de "grano fino" (sentencias específicas que manejan datos personales), proporcionando al LLM un contexto integral que abarca múltiples archivos y métodos.

3. Generador: Generación de Subtítulos

El Generador utiliza un LLM para sintetizar el contexto extraído en un subtítulo de privacidad.

• Ingeniería de Prompts: Los autores iteraron a través de varias estrategias de prompting. Inicialmente intentaron el "encadenamiento de prompts" (prompt chaining: dividir la tarea en subpasos: identificar sentencias, crear etiquetas, luego generar subtítulos), pero descubrieron que esto conducía a la propagación de errores y alucinaciones.
• Enfoque Final: Adoptaron un enfoque de prompt único utilizando ICL. El prompt proporciona al modelo el código fuente, las sentencias del análisis de taint y un ejemplo de tupla de código y su respectivo subtítulo. Luego, se le pide al modelo que genere un subtítulo para la nueva muestra de código.
• Configuraciones: El sistema fue evaluado utilizando tres LLMs diferentes: GPT-4, Claude Opus 4 y DeepSeek.

Conjunto de Datos y Evaluación

Para evaluar PCapGen, los autores construyeron un conjunto de datos de 442 muestras únicas de código fuente de Android con subtítulos base verificados por desarrolladores.

• Creación de la Base: Dado que escribir manualmente subtítulos para cientos de muestras de código es inviable, utilizaron GPT-4 para generar los subtítulos base iniciales.
• Verificación: Desarrolladores profesionales de Java (seleccionados vía Prolific) verificaron estos subtítulos. Calificaron los mismos en cuanto a precisión, concisión y completitud, y seleccionaron la versión preferida entre dos opciones generadas. Solo se retuvieron las muestras donde los subtítulos cumplían con un umbral de calidad.
• Métricas de Evaluación: El rendimiento de PCapGen se comparó contra estos subtítulos base utilizando:
  • LLMs como Jueces: Tres modelos (LlaMa 3.3, Mistral, Gemini 2.5 Pro) calificaron los subtítulos según los tres criterios de calidad y eligieron el mejor subtítulo en comparaciones por pares.
  • Expertos en Privacidad Humanos: Dos expertos en privacidad realizaron calificaciones y selecciones de preferencia similares.
  • Métricas Automatizadas: Se utilizaron BERTScore, BARTScore y ROUGE-L para medir la similitud semántica y a nivel de tokens.

Resultados Clave

1. Comparación de Configuraciones (RQ1)

Entre las tres configuraciones de LLM, PCapGen_Claude (utilizando Claude Opus 4) superó consistentemente a PCapGen_GPT y PCapGen_DeepSeek en todos los criterios de calidad (precisión, concisión, completitud) según todos los jueces de LLM. El análisis estadístico (pruebas t de muestras independientes) confirmó que la diferencia entre la configuración de PCapGen_Claude y las otras era estadísticamente significativa con un tamaño de efecto medio.

2. Similitud Semántica (RQ2)

Se encontró que los subtítulos de PCapGen son semánticamente muy similares a los subtítulos base curados por los desarrolladores.

• Calificaciones de Humanos/LLM: Los expertos en privacidad y los jueces de LLM calificaron la similitud como moderada a alta (promedio de puntuación > 3.3 en una escala de 1 a 5).
• Métricas Automatizadas: Los altos puntajes de BERTScore y BARTScore indicaron una fuerte superposición semántica. Sin embargo, los puntajes de ROUGE-L fueron bajos (precisión ~0.33), lo que indica que, si bien el significado es similar, el vocabulario y el fraseo difieren significativamente. Esto sugiere que PCapGen reformula con éxito los comportamientos en un lenguaje más conciso y natural.

3. Comparación de Calidad con Jueces (RQ3)

Los jueces de LLM calificaron consistentemente los subtítulos de PCapGen_Claude por encima de los subtítulos base en los tres criterios:

• Precisión: Mejora de +0.57.
• Completitud: Mejora de +0.47.
• Concisión: Mejora de +0.35.
  Estas mejoras fueron estadísticamente significativas (p < 0.001) con grandes efectos de tamaño. En las pruebas de preferencia por pares, los jueces de LLM prefirieron PCapGen_Claude sobre la base en el 76% al 100% de los casos.

4. Comparación de Calidad con Expertos (RQ4)

Los expertos en privacidad no encontraron una diferencia estadísticamente significativa en las puntuaciones medias de los tres criterios de calidad entre PCapGen_Claude y la base. Sin embargo, en las tareas de preferencia por pares, los expertos eligieron PCapGen_Claude sobre la base el 71% de las veces. Esto sugiere que, aunque los expertos puedan calificar ambos de manera similar en una escala, perciben los subtítulos de PCapGen como superiores cuando se comparan directamente.

Significado y Contribuciones

El artículo reclama las siguientes contribuciones primarias:

1. Marco Novedoso: PCapGen es el primer enfoque que complementa el análisis estático/de taint tradicional con LLMs para generar automáticamente subtítulos de privacidad directamente desde el código fuente sin intervención del desarrollador.
2. Análisis de Taint Extendido: Los autores desarrollaron un método basado en heurísticas para identificar rutas de taint entre fuentes conocidas y sumideros desconocidos, expandiendo las capacidades de las herramientas tradicionales que dependen de listas predefinidas.
3. Evaluación Robusta: El estudio proporciona un marco de evaluación exhaustivo utilizando tanto expertos en privacidad humanos como LLMs como jueces, demostando que PCapGen genera subtítulos que son tan buenos o mejores que los curados por desarrolladores.
4. Conjunto de Datos y Herramientas: Los autores han liberado un conjunto de datos de alta calidad de 442 fragmentos de código de Android con subtítulos de privacidad, junto con los scripts y las herramientas de anotación utilizados en el estudio.

Conclusión

Los autores concluyen que PCapGen demuestra la viabilidad de generar automáticamente subtítulos de privacidad de alta calidad a partir del código fuente de Android. Al aprovechar un contexto de código fuente extenso derivado del análisis de taint y las capacidades de razonamiento de los LLMs, el sistema produce subtítulos que son concisos, completos y precisos. Los resultados sugieren que este enfoque puede ayudar significamente a los desarrolladores con recursos limitados a cumplir con sus obligaciones regulatorias mediante la automatización de la creación de avisos de privacidad que reflejen con precisión el comportamiento de la aplicación.