Differentially Private Multimodal In-Context Learning
Il paper presenta DP-MTV, il primo framework che abilita l'apprendimento in contesto multimodale con molte dimostrazioni garantendo la privacy differenziale formale attraverso l'aggregazione di dati in vettori di compito compatti nello spazio delle attivazioni, permettendo così l'inferenza illimitata con un singolo aggiunta di rumore e mantenendo alte prestazioni su benchmark visivi e linguistici.