A Measurement Note on Pre-Wrap and Reader-Visible Context Accounting for a Capped FLAN-T5 QA Pipeline
Questa nota di misurazione analizza la discrepanza tra i rapporti di compressione nominali e il contesto effettivo visibile dal lettore conservato in una pipeline di QA FLAN-T5 con limite superiore, dimostrando che sebbene rapporti nominali più elevati aumentino il conteggio dei token pre-wrap, l'input finale del modello è significativamente limitato dall'overhead del template e dalla troncatura, e che la qualità della selezione dei contenuti è più importante del solo budget di token.